50 ساعت داده بزرگ، PySpark، AWS، Scala و Scraping [ویدئو]

سرفصل ها و درس ها

بخش 1 - استخراج داده و داده کاوی برای مبتدی تا حرفه ای با پایتون Part 1 - Data Scraping and Data Mining for Beginners to Pro with Python

• چرا Data Scraping Why Data Scraping

• کاربردهای Scraping داده ها Applications of Data Scraping

• معرفی مربی Introduction of Instructor

• مقدمه ای بر دوره، تراشیدن، ابزار Introduction to Course, Scraping, Tools

• بررسی اجمالی پروژه ها برای استخراج داده و داده کاوی Projects Overview for Data Scraping and Data Mining

درخواست ها Requests

• مقدمه ای بر درخواست های پایتون Introduction to Python Requests

• دست بر روی درخواست Hands-On with Requests

• استخراج نقل قول به صورت دستی Extracting Quotes Manually

• آزمون (استخراج نویسندگان) Quiz (Extracting Authors)

• راه حل (استخراج نویسندگان) Solution (Extracting Authors)

• صفحه بندی Pagination

• مسابقه (استخراج نویسنده و نقل قول) Quiz (Extracting Author and Quotes)

• راه حل 01 (استخراج نویسنده و نقل قول) Solution 01 (Extracting Author and Quotes)

• راه حل 02 (استخراج نویسنده و نقل قول) Solution 02 (Extracting Author and Quotes)

• درخواست های آژاکس Ajax Requests

• درخواست های آژاکس برای Cricinfo Ajax Requests for Cricinfo

• Ajax صفحه بندی را درخواست می کند Ajax Requests Pagination

• مسابقه (استخراج آمار برتر از Cricinfo) Quiz (Extracting Top Stats from Cricinfo)

• راه حل 01 (استخراج آمارهای برتر از Cricinfo) Solution 01 (Extracting Top Stats from Cricinfo)

• راه حل 02 (استخراج آمارهای برتر از Cricinfo) Solution 02 (Extracting Top Stats from Cricinfo)

سوپ زیبا 4 (BS4) Beautiful Soup 4 (BS4)

• مقدمه ای بر BS4 Introduction to BS4

• آزمون (تفاوت بین درخواست ها و BS4) Quiz (Difference Between Requests and BS4)

• راه حل (تفاوت بین درخواست ها و BS4) Solution (Difference Between Requests and BS4)

• دستی با BS4 Hands-On with BS4

• استخراج داده از درخت Extracting Data from Tree

• استخراج نقل قول از وب سایت Extracting Quotes from the Website

• امتحان (استخراج نام نویسندگان) Quiz (Extracting Author Names)

• راه حل (استخراج نام نویسنده) Solution (Extracting Author Names)

• ویژگی های برچسب ها در BS4 Attributes of Tags in BS4

• ویژگی های چند ارزشی برچسب ها در BS4 Multi-Valued Attributes of Tags in BS4

• خراش دادن نام فیلم از IMDB Scraping Movie Names from IMDB

• آزمون (دریافت رتبه بندی، سال و نام فیلم) Quiz (Getting the Ratings, Year, and Name of the Movie)

• راه حل 01 (دریافت رتبه بندی، سال و نام فیلم) Solution 01 (Getting the Ratings, Year, and Name of the Movie)

• راه حل 02 (دریافت رتبه بندی، سال و نام فیلم) Solution 02 (Getting the Ratings, Year, and Name of the Movie)

• حذف زمان، ژانر و تاریخ انتشار از IMDB 01 Scraping Time, Genre, and Releasing Date from IMDB 01

• حذف زمان، ژانر و تاریخ انتشار از IMDB 02 Scraping Time, Genre, and Releasing Date from IMDB 02

• ترکیب دو درخواست داده برای IMDB Combining Two Requests Data for IMDB

• سیستم توصیه کننده فیلم (ایجاد URL فیلم) Movies Recommender System (Creating Movie URL)

• سیستم توصیه کننده فیلم (ایجاد URL کارگردان) Movies Recommender System (Creating Director URL)

• سیستم توصیه‌کننده فیلم با استفاده از BS4 (دریافت چهار فیلم برتر) Movies Recommender System Using BS4 (Getting Top Four Movies)

• سیستم توصیه‌کننده فیلم با استفاده از BS4 (ادغام همه درخواست‌ها با هم) Movies Recommender System Using BS4 (Merge All Requests Together)

انتخابگرهای CSS CSS Selectors

• مقدمه ای بر انتخابگرهای CSS Introduction to CSS Selectors

• انتخابگرهای CSS دستی (برچسب ها) CSS Selectors Hands-On (Tags)

• آزمون (برچسب ها) Quiz (Tags)

• راه حل (برچسب ها) Solution (Tags)

• انتخابگرهای CSS عملی (فرزندان، شناسه، کلاس) CSS Selectors Hands-On (Descendants, ID, Class)

• آزمون (نوادگان) Quiz (Descendants)

• راه حل (فرزندان) Solution (Descendants)

• آزمون (ID) Quiz (ID)

• راه حل (ID) Solution (ID)

• راه حل (کلاس) قسمت 1 Solution (Class) Part 1

• راه حل (کلاس) قسمت 2 Solution (Class) Part 2

• انتخابگرهای CSS (برچسب‌های تودرتو، برچسب‌های شناسه، برچسب‌های کلاس) CSS Selectors Hands-On (Nested Tags, ID Tags, Class Tags)

• آزمون (کلاس با برچسب) Quiz (Class with Tag)

• راه حل (کلاس با برچسب) Solution (Class with Tag)

• انتخابگرهای CSS به صورت دستی (جداکننده کاما، انتخابگرهای جهانی CSS Selectors Hands-On (Comma Separator, Universal Selectors

• آزمون (ترکیب دو انتخابگر) Quiz (Combining Two Selectors)

• راه حل (ترکیب دو انتخابگر) Solution (Combining Two Selectors)

• انتخابگرهای CSS به صورت دستی (نمادهای خواهر و برادر و فرزند مستقیم) CSS Selectors Hands-On (Sibling Notations and Direct Child)

• امتحان (خواهر و برادر مجاور) Quiz (Adjacent Sibling)

• راه حل (خواهر و برادر مجاور) Solution (Adjacent Sibling)

• مسابقه (خواهر و برادر عمومی) Quiz (General Sibling)

• راه حل (خواهر و برادر عمومی) Solution (General Sibling)

• انتخابگرهای CSS Hands-On (انتخاب کنندگان کودک) CSS Selectors Hands-On (Child Selectors)

• آزمون (فرزند اول) Quiz (First Child)

• راه حل (فرزند اول) Solution (First Child)

• آزمون (تک فرزند) Quiz (Only Child)

• راه حل (تک فرزند) Solution (Only Child)

• امتحان (آخرین فرزند) Quiz (Last Child)

• راه حل (آخرین فرزند) Solution (Last Child)

• انتخاب‌کنندگان CSS عملی (نفی‌ها، ویژگی‌ها) CSS Selectors Hands-On (Negations, Attributes)

• امتحان (نفی) Quiz (Negation)

• راه حل (نفی) Solution (Negation)

• انتخابگرهای CSS عملی (ویژگی‌ها، مقادیر ویژگی‌ها) CSS Selectors Hands-On (Attributes, Attributes Values)

• امتحان (مقادیر ویژگی ها) Quiz (Attributes Values)

• راه حل (مقادیر ویژگی ها) Solution (Attributes Values)

• انتخابگرهای CSS به صورت دستی (مقادیر کارت های وحشی را مشخص می کند) CSS Selectors Hands-On (Attributes Wild Cards Values)

• مسابقه (ویژگیهای وایلد کارت) Quiz (Attributes Wild Card)

• راه حل (کارت وحشی ویژگی ها) Solution (Attributes Wild Card)

خراشیده Scrapy

• مقدمه ای بر اسکرپی Introduction to Scrapy

• مقایسه Scrapy و Requests Comparison of Scrapy and Requests

• اسناد Scrapy at a Glance Scrapy at a Glance Documentation

• شروع کار با Scrapy Getting Started with Scrapy

• مستندات در حال اجرا Spider 1 Running Documentation Spider 1

• مستندات در حال اجرا Spider 2 Running Documentation Spider 2

• نوشتن عنکبوت از ابتدا Writing Spider from the Scratch

• درک پاسخ (URL، وضعیت) Understanding the Response (URL, Status)

• درک پاسخ (سرصفحه ها) Understanding the Response (Headers)

• درک پاسخ (مقادیر در سرصفحه) Understanding the Response (Values in Headers)

• درک پاسخ (بدن) Understanding the Response (Body)

• درک پاسخ (درخواست) Understanding the Response (Request)

• درک پاسخ (متا) Understanding the Response (Meta)

• درک پاسخ (پرچم ها، گواهی، آدرس ip، کپی) Understanding the Response (flags, certificate, ip_address, copy)

• درک پاسخ (replace، urljoin، follow، follow_all) Understanding the Response (replace, urljoin, follow, follow_all)

• Response CSS و Scrapy Shell Response CSS and Scrapy Shell

• استخراج نقل قول با Scrapy Extracting quotes with Scrapy

• درک انتخابگرهای تودرتو Understanding Nested Selectors

• استخراج نویسنده و نقل قول ها Extracting the Author and Quotes

• در حال بررسی صفحه بعدی Checking for Next Page

• بررسی صفحه بعدی در Spider Checking for Next Page in Spider

• در حال بررسی آدرس صفحه بعدی Checking for Next Page URL

• خراش دادن نقل قول از صفحات بعدی Scraping Quotes from Next Pages

• صادرات داده های استخراج شده Exporting Extracted Data

• آزمون (دریافت برچسب ها) Quiz (Get the Tags)

• راه حل (دریافت برچسب ها) Solution (Get the Tags)

• وب سایت بعدی Next Website

• انتخابگرهای CSS برای نام‌ها و آدرس‌های اینترنتی فیلم CSS Selectors for Movie Names and URLs

• انتخابگرهای CSS ترکیبی برای نام‌ها و آدرس‌های اینترنتی فیلم Combined CSS Selectors for Movie Names and URLs

• درخواست به صفحه اطلاعات فیلم ارسال شد Sent Request to the Film Info Page

• ادغام داده ها از دو پاسخ به تماس Merge Data from Two Callbacks

• استخراج مدت زمان و ژانرهای فیلم Extracting Movie Duration and Genres

• صادرات داده های استخراج شده Exporting the Extracted Data

• مسابقه (استخراج سال) Quiz (Extracting the Year)

• راه حل (استخراج سال) Solution (Extracting the Year)

• دریافت نام مدیر و URL Getting Director Name and URL

• دریافت چهار فیلم برتر کارگردانان Getting Top Four Movies of Directors

• استخراج ناهنجاری داده ها (پرچم dont_filter) Extracting Data Anomaly (dont_filter Flag)

پروژه اسکرپی Scrapy Project

• وب سایت هوگو باس برای خراشیدن Hugo Boss Website for Scraping

• درک ساختار سایت Understanding Site Structure

• نوشتن انتخابگرهای CSS برای لیست ها Writing CSS Selectors for Listings

• لیست ها در Scrapy Shell Listings in Scrapy Shell

• ارسال درخواست به URL های فهرست ها Sending Request to Listings URLs

• استخراج URL محصولات از لیست ها Extracting Products URL from the Listings

• ارسال درخواست به محصولات لیست Sending Requests to Products of the Listings

• نوشتن CSS برای دریافت اطلاعات محصول Writing CSS to Get the Product Info

• گرفتن تصاویر بزرگتر از محصول Getting the Bigger Images of the Product

• بررسی آدرس صفحه بعدی Checking Next Page URL

• اضافه کردن صفحه بندی به Spider و اجرای آن Adding Pagination to Spider and Running It

• خروجی عنکبوت Output of the Spider

سلنیوم Selenium

• مقدمه ای بر سلنیوم Introduction to Selenium

• شروع کار با سلنیوم Getting Started with Selenium

• پیکربندی Webdriver Configuring the Webdriver

• استخراج نقل قول با سلنیوم Extracting Quotes with Selenium

• استخراج نقل قول و نام نویسنده Extracting Quotes and Author Names

• مسابقه (استخراج نقل قول) Quiz (Extracting Quotes)

• راه حل (استخراج نقل قول) Solution (Extracting Quotes)

• با کلیک بر روی دکمه Clicking on Button

• صفحه بندی و استخراج داده ها Pagination and Extracting Data

• مدیریت استثنا برای عنصر غیرقابل دسترس Exception Handling for Unavailable Element

• برای ورود به وب سایت پیمایش کنید Navigating the Website for Login

• آزمون (ورود و استخراج نقل قول) Quiz (Login and Extract Quote)

• راه حل (ورود و استخراج نقل قول) Solution (Login and Extract Quote)

پروژه سلنیوم Project Selenium

• نمای کلی پروژه Overview of Project

• بستن دکمه کوکی Closing the Cookie Button

• تنظیم زبان برای ترجمه Setting the Language for Translation

• ارسال متن برای ترجمه Sending the Text for Translation

• دانلود ترجمه Downloading the Translation

• خواندن داده ها از فایل برای ترجمه Reading Data from File for Translation

قسمت 2 - Scala and Spark - Master Big Data with Scala and Spark Part 2 - Scala and Spark - Master Big Data with Scala and Spark

• چرا اسکالا Why Scala

• برنامه های کاربردی اسکالا Scala Applications

• درباره مربی About the Instructor

• مقدمه ای بر بخش اسکالا و اسپارک Introduction to Scala and Spark Section

• بررسی اجمالی پروژه ها برای Scala و Spark Projects Overview for Scala and Spark

بررسی اجمالی اسکالا Scala Overview

• اسکالا چیست؟ What is Scala

• Scala Setup (ماشین محلی) Scala Setup (Local Machine)

• Scala Setup (آنلاین) Scala Setup (Online)

• متغیرها در اسکالا Variables in Scala

• عملیات حسابی روی متغیرها-1 Arithmetic Operations on Variables-1

• عملیات حسابی روی متغیرها-2 Arithmetic Operations on Variables-2

• آزمون (عملیات حسابی) Quiz (Arithmetic Operations)

• راه حل (عملیات حسابی) Solution (Arithmetic Operations)

• مسابقه (رشته) Quiz (Strings)

• راه حل (رشته ها) Solution (Strings)

• Casting را تایپ کنید Type Casting

• گرفتن ورودی از کاربر Taking Input from User

• آزمون (ورودی کاربر و ارسال نوع ارسال) Quiz (User Input and Type Casting)

• راه حل (ورودی کاربر و ارسال نوع) Solution (User Input and Type Casting)

کنترل جریان Flow Control

• مروری بر بیانیه های کنترل Overview of Control Statements

• اگر دیگر اظهارات If Else Statements

• شرایط در If Conditions in If

• آزمون (اگر بیانیه) Quiz (If Statement)

• راه حل (اگر بیانیه) Solution (If Statement)

• تودرتو اگر دیگری Nested If Else

• امتحان (در صورت دیگری تودرتو) Quiz (Nested If Else)

• راه حل (در صورت دیگری تو در تو) Solution (Nested If Else)

• عملگرهای منطقی Logical Operators

• آزمون (اپراتورهای منطقی) Quiz (Logical Operators)

• راه حل (اپراتورهای منطقی) Solution (Logical Operators)

• اگر دیگر اگر If Else If

• امتحان (اگر غیر از این باشد) Quiz (If Else If)

• راه حل (اگر غیر از این بود) Solution (If Else If)

• مروری بر حلقه ها Overview of Loops

• بررسی اجمالی حلقه while Overview of While Loop

• در حالی که حلقه While Loop

• آزمون (در حالی که حلقه) Quiz (While Loop)

• راه حل 1 (حلقه زمانی) Solution 1 (While Loop)

• راه حل 2 (حلقه زمانی) Solution 2 (While Loop)

• حلقه را انجام دهید Do While Loop

• برای حلقه For Loop

• آزمون 1 (برای حلقه) Quiz 1 (For Loop)

• راه حل 1 (برای حلقه) Solution 1 (For Loop)

• آزمون 2 (برای حلقه) Quiz 2 (For Loop)

• راه حل 2 (برای حلقه) Solution 2 (For Loop)

• زنگ تفريح Break

• تعمیر شکست Break Fix

• بررسی اجمالی پروژه برای کنترل جریان Project Overview for Flow control

• طراحی راه حل پروژه Project Solution Design

• کد راه حل پروژه 1 Project Solution Code 1

• کد راه حل پروژه 2 Project Solution Code 2

• کد راه حل پروژه 3 Project Solution Code 3

• کد راه حل پروژه 4 Project Solution Code 4

کارکرد Functions

• بررسی اجمالی توابع Overview of Functions

• تابع افزودن نوشتن Writing Addition Function

• امتحان (عملکرد پایه) Quiz (Basic Function)

• راه حل (عملکرد اصلی) Solution (Basic Function)

• توابع مسائل مشترک Functions Common Issues

• آرگومان های نامگذاری شده Named Arguments

• آزمون (عملکرد الحاق رشته) Quiz (String Concatenation Function)

• راه حل (تابع الحاق رشته) Solution (String Concatenation Function)

• آزمون (تقسیم کد در توابع) Quiz (Dividing Code in Functions)

• راه حل (تقسیم کد در توابع) Solution (Dividing Code in Functions)

• آرگومان های پیش فرض Default Arguments

• امتحان (استدلال‌های پیش‌فرض) Quiz (Default Arguments)

• راه حل (استدلال های پیش فرض) Solution (Default Arguments)

• توابع ناشناس Anonymous Functions

• آزمون (توابع ناشناس) Quiz (Anonymous Functions)

• راه حل (توابع ناشناس) Solution (Anonymous Functions)

• محدوده ها Scopes

• بررسی اجمالی پروژه برای توابع Project Overview for Functions

• بررسی اعتبار Checking Credentials

• درخواست منو Prompting the menu

• توابع پایه Basic Functions

• شکستن کد در توابع بیشتر Breaking Code in More Functions

• اجرای نهایی (توابع) Final Run (Functions)

کلاس ها Classes

• مقدمه ای بر کلاس ها Introduction to Classes

• ایجاد کلاس Creating Class

• سازنده کلاس Class Constructor

• توابع و کلاس ها Functions and Classes

• نمای کلی پروژه برای کلاس ها Project Overview for Classes

• ساختار پایه Basic Structure

• اجرای نهایی Final Run

ساختارهای داده Data Structures

• معرفی ساختارهای داده Introduction of Data Structures

• فهرست ها مقدمه Lists Introduction

• لیست های ایجاد و حذف عناصر Lists Create and Delete Elements

• لیست ها را بگیرید Lists Take

• ListBuffer مقدمه ListBuffer Introduction

• داده ها را در ListBuffer اضافه کنید Add Data in ListBuffer

• داده ها را از ListBuffer حذف کنید Remove Data from ListBuffer

• داده ها را از ListBuffer بگیرید Take Data from ListBuffer

• بررسی اجمالی پروژه برای ساختارهای داده Project Overview for Data Structures

• بحث معماری پروژه Project Architecture Discussion

• اجرای معماری پروژه Project Architecture Implementation

• ورودی کاربر برای اشیاء User Input for Objects

• پیاده سازی جریان کنترل Implementing the Control Flow

• ایجاد توابع مورد نیاز در داخل کلاس Creating Required Functions Inside Class

• نمای کلی نقشه ها Overview of Maps

• ایجاد نقشه ها Creating Maps

• کلید در نقشه را بررسی کنید Check Key in Map

• به روز رسانی مقدار در نقشه Update Value in Map

• افزودن و حذف موارد از Maps Add and Remove Items from Maps

• تکرار در Maps Iterating on Maps

• بررسی اجمالی پروژه برای ساختارهای داده Project Overview for Data Structures

• معماری پروژه برای ساختارهای داده Project Architecture for Data Structures

• کد ساختار پروژه Project Structure Code

• استفاده از Maps برای تعداد کلمات Using Maps for Word Count

• اجرای نهایی Final Run

• نمای کلی مجموعه ها Sets Overview

• افزودن و حذف آیتم از مجموعه Add and Remove Item from the Set

• تنظیم عملیات Set Operations

• نمای کلی Stack Overview of Stack

• Push and Pop in Stack Push and Pop in Stack

• صفات پشته Stack Attributes

• بررسی اجمالی پروژه Project Overview

• معماری پروژه Project Architecture

• مورد استفاده از براکت بسته شدن اضافی Extra Closing Bracket Use Case

• مورد استفاده از براکت شروع اضافی Extra Starting Bracket Use Case

پروژه اسکالا و اسپارک Project for Scala and Spark

• معرفی پروژه Project Introduction

• چرا اسپارک Why Spark

• اکوسیستم هادوپ Hadoop Ecosystem

• معماری جرقه Spark Architecture

• اکوسیستم اسپارک Spark Ecosystem

• حساب DataBricks DataBricks Account

• راه اندازی DataBricks Cluster Setting up DataBricks Cluster

• Spark Local Setup Spark Local Setup

• راه اندازی Spark Hadoop Spark Hadoop Setup

• RDD های جرقه ای Spark RDDs

• Spark RDD (تست فایل، جمع آوری) Spark RDDs (textFile, collect)

• اسپارک ران محلی Spark Local Run

• درک نقشه Understanding Map

• درک نقشه مسطح Understanding Flat Map

• درک کاهش با کلید Understanding Reduce by Key

• مثال تعداد کلمات Word Count Example

• اسپارک دی اف ها Spark DFs

• Spark DF Read Data Spark DF Read Data

• طرحواره چاپ جرقه، انتخاب کنید Spark Print Schema, Select

• Spark GroupBy Spark GroupBy

• اسپارک دی اف رایت Spark DF Write

• ایجاد سطل S3 Creating S3 Bucket

• ایجاد پایگاه داده در RDS Creating Database in RDS

• انجام ETL Performing ETL

قسمت 3 - PySpark و AWS - Master Big Data با PySpark و AWS Part 3 - PySpark and AWS - Master Big Data with PySpark and AWS

• چرا داده های بزرگ Why Big Data

• کاربردهای PySpark Applications of PySpark

• معرفی مربی Introduction to Instructor

• مقدمه دوره Introduction to Course

• بررسی اجمالی پروژه ها Projects Overview

مقدمه ای بر هادوپ، اکوسیستم ها و معماری های اسپارک Introduction to Hadoop, Spark Ecosystems and Architectures

• چرا اسپارک Why Spark

• اکوسیستم هادوپ Hadoop Ecosystem

• معماری و اکوسیستم اسپارک Spark Architecture and Ecosystem

• ثبت نام DataBricks DataBricks Signup

• نوت بوک DataBricks را ایجاد کنید Create DataBricks Notebook

• دانلود Spark and Dependencies Download Spark and Dependencies

• راه اندازی جاوا در ویندوز Java Setup on Windows

• راه اندازی پایتون در ویندوز Python Setup on Windows

• Spark Setup در ویندوز Spark Setup on Windows

• راه اندازی Hadoop در ویندوز Hadoop Setup on Windows

• اجرای Spark در ویندوز Running Spark on Windows

• دانلود جاوا در مک Java Download on MAC

• نصب JDK روی MAC Installing JDK on MAC

• تنظیم Java Home در MAC Setting Java Home on MAC

• جاوا را در MAC چک کنید Java check on MAC

• نصب پایتون در مک Installing Python on MAC

• Spark را در MAC تنظیم کنید Set Up Spark on MAC

RDD های جرقه ای Spark RDDs

• معرفی Spark RDDs Spark RDDs Introduction

• ایجاد Spark RDD Creating Spark RDD

• اجرای Spark Code به صورت محلی Running Spark Code Locally

• نقشه RDD (لامبدا) RDD Map (Lambda)

• نقشه RDD (عملکرد ساده) RDD Map (Simple Function)

• مسابقه (نقشه) Quiz (Map)

• راه حل 1 (نقشه) Solution 1 (Map)

• راه حل 2 (نقشه) Solution 2 (Map)

• RDD FlatMap RDD FlatMap

• فیلتر RDD RDD Filter

• امتحان (فیلتر) Quiz (Filter)

• راه حل (فیلتر) Solution (Filter)

• RDD متمایز RDD Distinct

• RDD GroupByKey RDD GroupByKey

• RDD ReduceByKey RDD ReduceByKey

• آزمون (شمارش کلمات) با Spark RDDs Quiz (Word Count) with Spark RDDs

• راه حل (شمارش کلمات) با اسپارک RDD Solution (Word Count) with Spark RDDs

• RDD (Count and CountByValue) RDD (Count and CountByValue)

• RDD (saveAsTextFile) RDD (saveAsTextFile)

• RDD (پارتیشن) RDD (Partition)

• یافتن میانگین-1 Finding Average-1

• یافتن میانگین-2 Finding Average-2

• آزمون (متوسط) Quiz (Average)

• راه حل (متوسط) Solution (Average)

• یافتن حداقل و حداکثر Finding Min and Max

• آزمون (حداقل و حداکثر) Quiz (Min and Max)

• راه حل (حداقل و حداکثر) Solution (Min and Max)

• بررسی اجمالی پروژه برای Spark RDDs Project Overview for Spark RDDs

• کل دانش آموزان Total Students

• مجموع نمرات دانش آموز دختر و پسر Total Marks by Male and Female Student

• کل دانش آموزان قبول شده و رد شده Total Passed and Failed Students

• کل ثبت نام در هر دوره Total Enrolments Per Course

• مجموع امتیازات در هر دوره Total Marks Per Course

• میانگین نمره در هر دوره Average Marks Per Course

• پیدا کردن حداقل و حداکثر علامت Finding Minimum and Maximum Marks

• میانگین سنی دانش آموزان دختر و پسر Average Age of Male and Female Students

اسپارک دی اف ها Spark DFs

• مقدمه ای بر Spark DFs Introduction to Spark DFs

• ایجاد Spark DF Creating Spark DFs

• طرحواره استنتاج جرقه Spark Infer Schema

• طرحواره ارائه جرقه Spark Provide Schema

• ایجاد DF از RDD Create DF from RDD

• اصلاح خطا Rectifying the Error

• ستون DF را انتخاب کنید Select DF Columns

• جرقه DF با ستون Spark DF withColumn

• Spark DF withColumnRenamed و Alias Spark DF withColumnRenamed and Alias

• ردیف های فیلتر Spark DF Spark DF Filter Rows

• امتحان (انتخاب، با ستون، فیلتر) Quiz (select, withColumn, filter)

• راه حل (انتخاب، با ستون، فیلتر) Solution (select, withColumn, filter)

• Spark DF (تعداد، متمایز، تکراری) Spark DF (Count, Distinct, Duplicate)

• آزمون (مشخص، تکراری) Quiz (Distinct, Duplicate)

• راه حل (متمایز، تکراری) Solution (Distinct, Duplicate)

• Spark DF (مرتب سازی، ترتیب بر اساس) Spark DF (sort, orderBy)

• امتحان (مرتب سازی، ترتیب بر اساس) Quiz (sort, orderBy)

• راه حل (مرتب سازی، ترتیب بر اساس) Solution (sort, orderBy)

• Spark DF (گروه بر اساس) Spark DF (Group By)

• Spark DF (گروه بر اساس - چندین ستون و تجمع) Spark DF (Group By - Multiple Columns and Aggregations)

• Spark DF (گروه با تجسم) Spark DF (Group By -Visualization)

• Spark DF (گروه بر اساس - فیلتر) Spark DF (Group By - Filtering)

• مسابقه (گروهی) Quiz (Group By)

• راه حل (گروه بر اساس) Solution (Group By)

• آزمون (شمارش کلمات) با Spark DFs Quiz (Word Count) with Spark DFs

• راه حل (Word Count) با Spark DFs Solution (Word Count) with Spark DFs

• Spark DF (UDF) Spark DF (UDFs)

• آزمون (UDF) Quiz (UDFs)

• راه حل (UDF) Solution (UDFs)

• راه حل (Cache و Persist) Solution (Cache and Persist)

• Spark DF (DF به RDD) Spark DF (DF to RDD)

• Spark DF (Spark SQL) Spark DF (Spark SQL)

• Spark DF (Write DF) Spark DF (Write DF)

• بررسی اجمالی پروژه Project Overview

• پروژه (شمارش و انتخاب) Project (Count and Select)

• پروژه (گروهی) Project (Group By)

• پروژه (گروه بر اساس، تجمیع، و سفارش بر اساس) Project (Group By, Aggregations, and Order By)

• پروژه (فیلتر کردن) Project (Filtering)

• پروژه (UDF و WithColumn) Project (UDF and WithColumn)

• پروژه (نوشتن) Project (Write)

فیلتر مشارکتی Collaborative Filtering

• مقدمه ای بر فیلتر مشارکتی Introduction to Collaborative Filtering

• ماتریس سودمند Utility Matrix

• رتبه بندی صریح و ضمنی Explicit and Implicit Ratings

• نتایج مورد انتظار Expected Results

• مجموعه داده Dataset

• پیوستن به Dataframes Joining Dataframes

• داده های آموزش و آزمایش Train and Test Data

• مدل ALS ALS Model

• تنظیم فراپارامتر و اعتبارسنجی متقاطع Hyperparameter Tuning and Cross Validation

• بهترین مدل و ارزیابی پیش بینی ها Best Model and Evaluate Predictions

• توصیه ها Recommendations

جریان جرقه Spark Streaming

• مقدمه ای بر جریان اسپارک Introduction to Spark Streaming

• جریان جرقه با RDD Spark Streaming with RDD

• زمینه جریان جرقه Spark Streaming Context

• Spark Streaming Reading Data Spark Streaming Reading Data

• Spark Streaming Cluster Restart مجدد Spark Streaming Cluster Restart

• تبدیل جرقه جریان RDD Spark Streaming RDD Transformations

• اسپارک استریم دی اف Spark Streaming DF

• نمایشگر جریان جرقه Spark Streaming Display

• جرقه جریان DF تجمع Spark Streaming DF Aggregations

خط لوله ETL ETL Pipeline

• مقدمه ای بر ETL Introduction to ETL

• جریان خط لوله ETL ETL Pipeline Flow

• مجموعه داده با خط لوله ETL Dataset with ETL Pipeline

• استخراج داده ها Extracting Data

• تبدیل داده ها Transforming Data

• بارگیری داده ها (ایجاد RDS-I) Loading Data (Creating RDS-I)

• بارگذاری داده (ایجاد RDS-II) Load Data (Creating RDS-II)

• شبکه RDS RDS Networking

• در حال دانلود Postgres Downloading Postgres

• نصب Postgres Installing Postgres

• از طریق PgAdmin به RDS متصل شوید Connect to RDS Through PgAdmin

• در حال بارگیری داده ها Loading Data

پروژه - تغییر ضبط داده/تکرار در حال انجام Project - Change Data Capture / Replication On Going

• مقدمه ای بر پروژه Introduction to Project

• معماری پروژه Project Architecture

• ایجاد نمونه RDS MySQL Creating RDS MySQL Instance

• ایجاد سطل S3 Creating S3 Bucket

• ایجاد نقطه پایانی منبع DMS Creating DMS Source Endpoint

• ایجاد نقطه پایانی مقصد DMS Creating DMS Destination Endpoint

• ایجاد نمونه DMS Creating DMS Instance

• MySQL WorkBench MySQL WorkBench

• اتصال با RDS و Dumping Data Connecting with RDS and Dumping Data

• درخواست RDS Querying RDS

• بارگذاری کامل DMS DMS Full Load

• تکرار DMS در حال انجام است DMS Replication Ongoing

• موارد توقف Stopping Instances

• کار چسب (بار کامل) Glue Job (Full Load)

• کار چسب (تغییر عکس) Glue Job (Change Capture)

• کار چسب (CDC) Glue Job (CDC)

• ایجاد تابع Lambda و اضافه کردن Trigger Creating Lambda Function and Adding Trigger

• بررسی ماشه Checking Trigger

• دریافت نام فایل S3 در لامبدا Getting S3 File Name in Lambda

• ایجاد کار چسب Creating Glue Job

• افزودن Invoke برای Glue Job Adding Invoke for Glue Job

• فراخوانی آزمایشی Testing Invoke

• نوشتن کار چسب چسب Writing Glue Shell Job

• خط لوله با بار کامل Full Load Pipeline

• خط لوله ضبط داده را تغییر دهید Change Data Capture Pipeline

بخش 4 - MongoDB-Mastering MongoDB برای مبتدیان (تئوری و پروژه ها) Part 4 - MongoDB-Mastering MongoDB for Beginners (Theory and Projects)

• چرا MongoDB Why MongoDB

• برنامه های کاربردی MongoDB Applications of MongoDB

• معرفی مربی Instructor Introduction

• آنچه در داخل است What’s Inside

• روش شناسی Methodology

• پروژه Project

بررسی اجمالی Overview

• طرحواره SQL SQL Schema

• طرحواره NoSQL NoSQL Schema

• نصب MongoDB Installing MongoDB

• تنظیم متغیر محیط Setting Environment Variable

• قیاس ها Analogies

عملیات اصلی مونگو Basic Mongo Operations

• دستورات پایه پایگاه داده قسمت 1 Basic Database commands Part 1

• دستورات پایگاه داده پایه قسمت 2 Basic Database commands Part 2

• دستورات مجموعه پایه Basic Collection Commands

• مقدمه ای بر ماژول Introduction to Module

• ایجاد سند (تک) Create Document (Single)

• ایجاد اسناد (بسیاری) Create Documents (Many)

• آزمون (ایجاد اسناد) Quiz (Create Documents)

• راه حل (ایجاد اسناد) Solution (Create Documents)

• امتحان (ایجاد سند) Quiz (Create Document)

• راه حل (ایجاد سند) Solution (Create Document)

• Outro Outro

عملیات به روز رسانی اولیه Basic Update Operation

• معرفی Introduction

• به روز رسانی اسناد (تک فیلتر) Update Documents (Single Filter)

• به روز رسانی اسناد Update Documents

• آزمون 1 (عملیات به روز رسانی) Quiz 1 (Update Operation)

• راه حل 1 (عملیات به روز رسانی) Solution 1 (Update Operation)

• آزمون 2 (عملیات به روز رسانی) Quiz 2 (Update Operation)

• راه حل 2.1 (عملیات به روز رسانی) Solution 2.1 (Update Operation)

• راه حل 2.2 (عملیات به روز رسانی) Solution 2.2 (Update Operation)

• Outro Outro

عملیات خواندن پایه Basic Read Operation

• معرفی Introduction

• اسناد را بخوانید Read Documents

• آزمون 1 (خواندن اسناد) Quiz 1 (Read Documents)

• راه حل 1 (خواندن اسناد) Solution 1 (Read Documents)

• آزمون 2 (مطالعه اسناد) Quiz 2 (Read Documents)

• راه حل 2 (مطالعه اسناد) Solution 2 (Read Documents)

• Outro Outro

عملیات حذف اساسی Basic Delete Operation

• معرفی Introduction

• حذف سند Delete Document

• آزمون 1 (عملیات حذف) Quiz 1 (Delete Operation)

• راه حل 1 (عملیات حذف) Solution 1 (Delete Operation)

• آزمون 2 (عملیات حذف) Quiz 2 (Delete Operation)

• راه حل 2 (عملیات حذف) Solution 2 (Delete Operation)

• Outro Outro

عملگرهای پرس و جو و طرح ریزی Query and projection operators

• معرفی ماژول Module Introduction

• اپراتور $eq $eq Operator

• اپراتور $gt $gt Operator

• اپراتور $lt $lt Operator

• $در اپراتور $in Operator

• اپراتور $ne $ne Operator

• اپراتور nin $ $nin operator

• $ و اپراتور $and Operator

• $یا اپراتور $or Operator

• $نه اپراتور $not Operator

• اپراتور $exists $exists Operator

• اپراتور $types $types Operator

• اپراتور $expr $expr Operator

• اپراتور $mod $mod Operator

• اپراتور $text $text Operator

• $all اپراتور $all Operator

• اپراتور $elemMatch $elemMatch Operator

• اپراتور $size $size Operator

• اپراتور $ $ Operator

• اپراتور $slice $slice Operator

• امتحان ($eq) Quiz ($eq)

• راه حل ($eq) Solution ($eq)

• امتحان ($gt) Quiz ($gt)

• راه حل ($gt) Solution ($gt)

• امتحان ($gte) Quiz ($gte)

• راه حل ($gte) Solution ($gte)

• امتحان ($in) Quiz ($in)

• راه حل ($in) Solution ($in)

• امتحان ($lt) Quiz ($lt)

• راه حل ($lt) Solution ($lt)

• امتحان ($lte) Quiz ($lte)

• راه حل ($lte) قسمت F10401 Solution ($lte) Part F10401

• راه حل ($lte) Solution ($lte)

• امتحان ($ne) Quiz ($ne)

• راه حل ($ne) Solution ($ne)

• آزمون (نه دلار) Quiz ($nin)

• راه حل (نه دلار) قسمت 1 Solution ($nin) Part 1

• راه حل (نه دلار) قسمت 2 Solution ($nin) Part 2

• راه حل (نه دلار) قسمت 3 Solution ($nin) Part 3

• امتحان ($و) Quiz ($and)

• راه حل ($ and) Solution ($and)

• امتحان ($یا) Quiz ($or)

• راه حل ($یا) قسمت 1 Solution ($or) Part 1

• راه حل ($یا) قسمت 2 Solution ($or) Part 2

• امتحان ($not) Quiz ($not)

• راه حل ($not) قسمت 1 Solution ($not) Part 1

• راه حل ($not) قسمت 2 Solution ($not) Part 2

• راه حل ($not) قسمت 3 Solution ($not) Part 3

• امتحان ($exists) Quiz ($exists)

• راه حل ($exists) Solution ($exists)

• امتحان ($expr) Quiz ($expr)

• راه حل ($expr) Solution ($expr)

• امتحان ($mod) Quiz ($mod)

• راه حل ($mod) Solution ($mod)

• امتحان ($text) Quiz ($text)

• راه حل ($text) Solution ($text)

• آزمون ($all) Quiz ($all)

• راه حل ($all) قسمت 1 Solution ($all) Part 1

• راه حل ($all) قسمت 2 Solution ($all) Part 2

• امتحان ($elemMatch) Quiz ($elemMatch)

• راه حل ($elemMatch) قسمت 1 Solution ($elemMatch) Part 1

• راه حل ($elemMatch) قسمت 2 Solution ($elemMatch) Part 2

• آزمون (اندازه دلار) Quiz ($size)

• راه حل (اندازه دلار) Solution ($size)

به روز رسانی اپراتورها Update Operators

• اپراتور $currentDate $currentDate Operator

• $inc اپراتور قسمت 1 $inc Operator Part 1

• $inc اپراتور قسمت 2 $inc Operator Part 2

• اپراتور $min $min Operator

• اپراتور حداکثر $ $max Operator

• اپراتور $mul $mul Operator

• $rename Operator $rename Operator

• اپراتور $set قسمت 1 $set Operator Part 1

• اپراتور $set قسمت 2 $set Operator Part 2

• $unset اپراتور $unset Operator

• اپراتور $addToSet $addToSet Operator

• اپراتور $pop $pop Operator

• $pull اپراتور $pull Operator

• اپراتور $push $push Operator

• $ هر اپراتور $each Operator

• اپراتور $position $position Operator

• اپراتور $sort $sort Operator

• آزمون 1 (اپراتورهای به روز رسانی) Quiz 1 (Update Operators)

• راه حل 1 (اپراتورهای به روز رسانی) قسمت 1 Solution 1 (Update Operators) Part 1

• راه حل 1 (اپراتورهای به روز رسانی) قسمت 2 Solution 1 (Update Operators) Part 2

• راه حل 1 (اپراتورهای به روز رسانی) قسمت 3 Solution 1 (Update Operators) Part 3

• راه حل 1 (اپراتورهای به روز رسانی) قسمت 4 Solution 1 (Update Operators) Part 4

• آزمون 2 (اپراتورهای به روز رسانی) Quiz 2 (Update Operators)

• راه حل 2 (اپراتورهای به روز رسانی) قسمت 1 Solution 2 (Update Operators) Part 1

• راه حل 2 (اپراتورهای به روز رسانی) قسمت 2 Solution 2 (Update Operators) Part 2

• راه حل 2 (اپراتورهای به روز رسانی) قسمت 3 Solution 2 (Update Operators) Part 3

Mongo با Node Mongo with Node

• نصب Node در ماشین محلی Installing Node on Local Machine

• نصب VS Code Installing VS Code

• اطلس مونگو Mongo Atlas

• Cluster در Mongo Atlas ایجاد کنید Create Cluster on Mongo Atlas

• ایجاد کاربر در اطلس Creating User in Atlas

• دسترسی شبکه Network Access

• پایگاه داده و مجموعه ها Database and Collections

• Node را با Mongo وصل کنید Connect Node with Mongo

• پایگاه های داده را دریافت کنید Get Databases

• در Mongo با استفاده از Node درج کنید Insert in Mongo Using Node

• از Mongo با استفاده از Node بخوانید Read from Mongo Using Node

• به روز رسانی در Mongo با استفاده از Node Update in Mongo Using Node

• حذف از Mongo با استفاده از Node Delete from Mongo Using Node

مونگو با پایتون Mongo with Python

• PyCharm PyCharm

• ایجاد ارتباط Creating Connection

• در Mongo با استفاده از پایتون درج کنید Insert in Mongo Using Python

• خواندن از Mongo با استفاده از Python Read from Mongo Using Python

• به روز رسانی در Mongo با استفاده از پایتون Update in Mongo Using Python

• حذف در Mongo با استفاده از پایتون Delete in Mongo Using Python

جنگو با مونگو Django with Mongo

• نصب جنگو Django Installation

• ایجاد اپلیکیشن Creating App

• راه اندازی جنگو با مونگو Setting Up Django with Mongo

• مهاجرت جنگو Django Migrations

• URL ها و نمایش های جنگو Django URLs and Views

• جنگو با پستچی Django with Postman

• جنگو داده ها را از پستچی دریافت کنید Django Get Data from Postman

• در Mongo با استفاده از جنگو درج کنید Insert in Mongo Using Django

• خواندن از Mongo با استفاده از جنگو Read from Mongo Using Django

• به روز رسانی در Mongo با استفاده از جنگو Update in Mongo Using Django

• حذف در Mongo با استفاده از جنگو Delete in Mongo Using Django

جرقه با مونگو Spark with Mongo

• Databricks برای Spark Databricks for Spark

• نصب کتابخانه ها Installing Libraries

• بررسی اجمالی داده ها Data Overview

• ETL ETL