آموزش رام کردن کلان داده با آپاچی اسپارک و پایتون - دست به کار شوید!

سرفصل ها و درس ها

شروع کار با Spark Getting Started with Spark

• معرفی Introduction

• نحوه استفاده از این دوره How to Use This Course

• Udemy 101: بیشترین بهره را از این دوره ببرید Udemy 101: Getting the Most From This Course

• یادداشت مهم Important note

• مهم! با این دوره از جاوا 16 استفاده نکنید IMPORTANT! DO NOT USE JAVA 16 WITH THIS COURSE

• [فعالیت] راه اندازی: نصب پایتون، JDK، Spark و وابستگی های آن. [Activity]Getting Set Up: Installing Python, a JDK, Spark, and its Dependencies.

• مکان دانلود جایگزین MovieLens Alternate MovieLens download location

• [فعالیت] نصب مجموعه داده رتبه بندی فیلم MovieLens [Activity] Installing the MovieLens Movie Rating Dataset

• [فعالیت] اولین برنامه Spark خود را اجرا کنید! نمونه هیستوگرام رتبه بندی [Activity] Run your first Spark program! Ratings histogram example.

شروع کار با Spark Getting Started with Spark

• معرفی Introduction

• نحوه استفاده از این دوره How to Use This Course

• Udemy 101: بیشترین بهره را از این دوره ببرید Udemy 101: Getting the Most From This Course

• یادداشت مهم Important note

• مهم! با این دوره از جاوا 16 استفاده نکنید IMPORTANT! DO NOT USE JAVA 16 WITH THIS COURSE

• [فعالیت] راه اندازی: نصب پایتون، JDK، Spark و وابستگی های آن. [Activity]Getting Set Up: Installing Python, a JDK, Spark, and its Dependencies.

• مکان دانلود جایگزین MovieLens Alternate MovieLens download location

• [فعالیت] نصب مجموعه داده رتبه بندی فیلم MovieLens [Activity] Installing the MovieLens Movie Rating Dataset

• [فعالیت] اولین برنامه Spark خود را اجرا کنید! نمونه هیستوگرام رتبه بندی [Activity] Run your first Spark program! Ratings histogram example.

Spark Basics و رابط RDD Spark Basics and the RDD Interface

• چه چیزی در Spark 3 جدید است؟ What's new in Spark 3?

• مقدمه ای بر اسپارک Introduction to Spark

• مجموعه داده های توزیع شده انعطاف پذیر (RDD) The Resilient Distributed Dataset (RDD)

• بررسی هیستوگرام رتبه‌بندی Ratings Histogram Walkthrough

• کلید/مقدار RDD و میانگین دوستان بر اساس سن مثال Key/Value RDD's, and the Average Friends by Age Example

• [فعالیت] اجرای میانگین دوستان بر اساس سن مثال [Activity] Running the Average Friends by Age Example

• فیلتر کردن RDDها و حداقل دما بر اساس مکان مثال Filtering RDD's, and the Minimum Temperature by Location Example

• [فعالیت] اجرای مثال حداقل دما و تغییر آن برای حداکثر [Activity]Running the Minimum Temperature Example, and Modifying it for Maximums

• [فعالیت] اجرای حداکثر دما بر اساس مکان مثال [Activity] Running the Maximum Temperature by Location Example

• [فعالیت] شمارش رخدادهای کلمه با استفاده از flatmap() [Activity] Counting Word Occurrences using flatmap()

• [فعالیت] بهبود اسکریپت تعداد کلمات با عبارات منظم [Activity] Improving the Word Count Script with Regular Expressions

• [فعالیت] مرتب سازی نتایج شمارش کلمات [Activity] Sorting the Word Count Results

• [تمرین] کل مبلغ خرج شده توسط مشتری را بیابید [Exercise] Find the Total Amount Spent by Customer

• [تمرین] نتایج خود را بررسی کنید، و اکنون آنها را بر اساس کل مبلغ خرج شده مرتب کنید. [Excercise] Check your Results, and Now Sort them by Total Amount Spent.

• اجرای مرتب شده و نتایج در مقابل من را بررسی کنید. Check Your Sorted Implementation and Results Against Mine.

Spark Basics و رابط RDD Spark Basics and the RDD Interface

• چه چیزی در Spark 3 جدید است؟ What's new in Spark 3?

• مقدمه ای بر اسپارک Introduction to Spark

• مجموعه داده های توزیع شده انعطاف پذیر (RDD) The Resilient Distributed Dataset (RDD)

• بررسی هیستوگرام رتبه‌بندی Ratings Histogram Walkthrough

• کلید/مقدار RDD و میانگین دوستان بر اساس سن مثال Key/Value RDD's, and the Average Friends by Age Example

• [فعالیت] اجرای میانگین دوستان بر اساس سن مثال [Activity] Running the Average Friends by Age Example

• فیلتر کردن RDDها و حداقل دما بر اساس مکان مثال Filtering RDD's, and the Minimum Temperature by Location Example

• [فعالیت] اجرای مثال حداقل دما و تغییر آن برای حداکثر [Activity]Running the Minimum Temperature Example, and Modifying it for Maximums

• [فعالیت] اجرای حداکثر دما بر اساس مکان مثال [Activity] Running the Maximum Temperature by Location Example

• [فعالیت] شمارش رخدادهای کلمه با استفاده از flatmap() [Activity] Counting Word Occurrences using flatmap()

• [فعالیت] بهبود اسکریپت تعداد کلمات با عبارات منظم [Activity] Improving the Word Count Script with Regular Expressions

• [فعالیت] مرتب سازی نتایج شمارش کلمات [Activity] Sorting the Word Count Results

• [تمرین] کل مبلغ خرج شده توسط مشتری را بیابید [Exercise] Find the Total Amount Spent by Customer

• [تمرین] نتایج خود را بررسی کنید، و اکنون آنها را بر اساس کل مبلغ خرج شده مرتب کنید. [Excercise] Check your Results, and Now Sort them by Total Amount Spent.

• اجرای مرتب شده و نتایج در مقابل من را بررسی کنید. Check Your Sorted Implementation and Results Against Mine.

SparkSQL، DataFrames و DataSets SparkSQL, DataFrames, and DataSets

• معرفی SparkSQL Introducing SparkSQL

• [فعالیت] اجرای دستورات SQL و توابع به سبک SQL در یک DataFrame [Activity] Executing SQL commands and SQL-style functions on a DataFrame

• استفاده از DataFrames به جای RDD Using DataFrames instead of RDD's

• [تمرین] دوستان بر اساس سن، با DataFrames [Exercise] Friends by Age, with DataFrames

• راه حل تمرین: دوستان بر اساس سن، با DataFrames Exercise Solution: Friends by Age, with DataFrames

• [فعالیت] تعداد کلمات، با DataFrames [Activity] Word Count, with DataFrames

• [فعالیت] حداقل دما، با DataFrames (با استفاده از یک طرح سفارشی) [Activity] Minimum Temperature, with DataFrames (using a custom schema)

• [تمرین] کل هزینه شده توسط مشتری را با DataFrames پیاده سازی کنید [Exercise] Implement Total Spent by Customer with DataFrames

• راه حل تمرین: کل هزینه شده توسط مشتری، با DataFrames Exercise Solution: Total Spent by Customer, with DataFrames

SparkSQL، DataFrames و DataSets SparkSQL, DataFrames, and DataSets

• معرفی SparkSQL Introducing SparkSQL

• [فعالیت] اجرای دستورات SQL و توابع به سبک SQL در یک DataFrame [Activity] Executing SQL commands and SQL-style functions on a DataFrame

• استفاده از DataFrames به جای RDD Using DataFrames instead of RDD's

• [تمرین] دوستان بر اساس سن، با DataFrames [Exercise] Friends by Age, with DataFrames

• راه حل تمرین: دوستان بر اساس سن، با DataFrames Exercise Solution: Friends by Age, with DataFrames

• [فعالیت] تعداد کلمات، با DataFrames [Activity] Word Count, with DataFrames

• [فعالیت] حداقل دما، با DataFrames (با استفاده از یک طرح سفارشی) [Activity] Minimum Temperature, with DataFrames (using a custom schema)

• [تمرین] کل هزینه شده توسط مشتری را با DataFrames پیاده سازی کنید [Exercise] Implement Total Spent by Customer with DataFrames

• راه حل تمرین: کل هزینه شده توسط مشتری، با DataFrames Exercise Solution: Total Spent by Customer, with DataFrames

نمونه های پیشرفته از برنامه های Spark Advanced Examples of Spark Programs

• [فعالیت] محبوب ترین فیلم را پیدا کنید [Activity] Find the Most Popular Movie

• [فعالیت] از متغیرهای پخش برای نمایش نام فیلم ها به جای شماره شناسه استفاده کنید [Activity] Use Broadcast Variables to Display Movie Names Instead of ID Numbers

• محبوب ترین ابرقهرمان را در نمودار اجتماعی پیدا کنید Find the Most Popular Superhero in a Social Graph

• [فعالیت] اسکریپت را اجرا کنید - کشف کنید محبوب ترین ابرقهرمان کیست! [Activity] Run the Script - Discover Who the Most Popular Superhero is!

• [تمرین] مبهم ترین ابرقهرمانان را پیدا کنید [Exercise] Find the Most Obscure Superheroes

• راه حل تمرین: مبهم ترین ابرقهرمانان Exercise Solution: Most Obscure Superheroes

• درجات جدایی ابرقهرمانی: معرفی جستجوی عرض-اول Superhero Degrees of Separation: Introducing Breadth-First Search

• درجات جدایی ابرقهرمانی: انباشته‌کننده‌ها و پیاده‌سازی BFS در اسپارک Superhero Degrees of Separation: Accumulators, and Implementing BFS in Spark

• [فعالیت] درجات جدایی ابرقهرمانی: کد را مرور کنید و آن را اجرا کنید [Activity] Superhero Degrees of Separation: Review the Code and Run it

• فیلتر مشارکتی مبتنی بر آیتم در Spark، cache() و persist() Item-Based Collaborative Filtering in Spark, cache(), and persist()

• [فعالیت] اجرای اسکریپت فیلم های مشابه با استفاده از Spark's Cluster Manager [Activity] Running the Similar Movies Script using Spark's Cluster Manager

• [تمرین] کیفیت فیلم های مشابه را بهبود بخشید [Exercise] Improve the Quality of Similar Movies

نمونه های پیشرفته از برنامه های Spark Advanced Examples of Spark Programs

• [فعالیت] محبوب ترین فیلم را پیدا کنید [Activity] Find the Most Popular Movie

• [فعالیت] از متغیرهای پخش برای نمایش نام فیلم ها به جای شماره شناسه استفاده کنید [Activity] Use Broadcast Variables to Display Movie Names Instead of ID Numbers

• محبوب ترین ابرقهرمان را در نمودار اجتماعی پیدا کنید Find the Most Popular Superhero in a Social Graph

• [فعالیت] اسکریپت را اجرا کنید - کشف کنید محبوب ترین ابرقهرمان کیست! [Activity] Run the Script - Discover Who the Most Popular Superhero is!

• [تمرین] مبهم ترین ابرقهرمانان را پیدا کنید [Exercise] Find the Most Obscure Superheroes

• راه حل تمرین: مبهم ترین ابرقهرمانان Exercise Solution: Most Obscure Superheroes

• درجات جدایی ابرقهرمانی: معرفی جستجوی عرض-اول Superhero Degrees of Separation: Introducing Breadth-First Search

• درجات جدایی ابرقهرمانی: انباشته‌کننده‌ها و پیاده‌سازی BFS در اسپارک Superhero Degrees of Separation: Accumulators, and Implementing BFS in Spark

• [فعالیت] درجات جدایی ابرقهرمانی: کد را مرور کنید و آن را اجرا کنید [Activity] Superhero Degrees of Separation: Review the Code and Run it

• فیلتر مشارکتی مبتنی بر آیتم در Spark، cache() و persist() Item-Based Collaborative Filtering in Spark, cache(), and persist()

• [فعالیت] اجرای اسکریپت فیلم های مشابه با استفاده از Spark's Cluster Manager [Activity] Running the Similar Movies Script using Spark's Cluster Manager

• [تمرین] کیفیت فیلم های مشابه را بهبود بخشید [Exercise] Improve the Quality of Similar Movies

در حال اجرا جرقه در یک خوشه Running Spark on a Cluster

• معرفی Elastic MapReduce Introducing Elastic MapReduce

• [Activity] راه‌اندازی حساب AWS/Elastic MapReduce و راه‌اندازی PuTTY [Activity] Setting up your AWS / Elastic MapReduce Account and Setting Up PuTTY

• پارتیشن بندی Partitioning

• ایجاد فیلم های مشابه از یک میلیون رتبه - قسمت 1 Create Similar Movies from One Million Ratings - Part 1

• [فعالیت] ساخت فیلم های مشابه از یک میلیون رتبه - قسمت 2 [Activity] Create Similar Movies from One Million Ratings - Part 2

• ایجاد فیلم های مشابه از یک میلیون رتبه - قسمت 3 Create Similar Movies from One Million Ratings - Part 3

• عیب یابی Spark on a Cluster Troubleshooting Spark on a Cluster

• عیب یابی بیشتر و مدیریت وابستگی ها More Troubleshooting, and Managing Dependencies

در حال اجرا جرقه در یک خوشه Running Spark on a Cluster

• معرفی Elastic MapReduce Introducing Elastic MapReduce

• [Activity] راه‌اندازی حساب AWS/Elastic MapReduce و راه‌اندازی PuTTY [Activity] Setting up your AWS / Elastic MapReduce Account and Setting Up PuTTY

• پارتیشن بندی Partitioning

• ایجاد فیلم های مشابه از یک میلیون رتبه - قسمت 1 Create Similar Movies from One Million Ratings - Part 1

• [فعالیت] ساخت فیلم های مشابه از یک میلیون رتبه - قسمت 2 [Activity] Create Similar Movies from One Million Ratings - Part 2

• ایجاد فیلم های مشابه از یک میلیون رتبه - قسمت 3 Create Similar Movies from One Million Ratings - Part 3

• عیب یابی Spark on a Cluster Troubleshooting Spark on a Cluster

• عیب یابی بیشتر و مدیریت وابستگی ها More Troubleshooting, and Managing Dependencies

یادگیری ماشین با Spark ML Machine Learning with Spark ML

• معرفی MLLib Introducing MLLib

• [فعالیت] استفاده از Spark ML برای تولید توصیه‌های فیلم [Activity] Using Spark ML to Produce Movie Recommendations

• تجزیه و تحلیل نتایج توصیه های ALS Analyzing the ALS Recommendations Results

• [فعالیت] رگرسیون خطی با Spark ML [Activity] Linear Regression with Spark ML

• [تمرین] استفاده از درختان تصمیم در Spark ML برای پیش بینی قیمت املاک و مستغلات [Exercise] Using Decision Trees in Spark ML to Predict Real Estate Prices

• راه حل تمرین: درختان تصمیم با جرقه Exercise Solution: Decision Trees with Spark

یادگیری ماشین با Spark ML Machine Learning with Spark ML

• معرفی MLLib Introducing MLLib

• [فعالیت] استفاده از Spark ML برای تولید توصیه‌های فیلم [Activity] Using Spark ML to Produce Movie Recommendations

• تجزیه و تحلیل نتایج توصیه های ALS Analyzing the ALS Recommendations Results

• [فعالیت] رگرسیون خطی با Spark ML [Activity] Linear Regression with Spark ML

• [تمرین] استفاده از درختان تصمیم در Spark ML برای پیش بینی قیمت املاک و مستغلات [Exercise] Using Decision Trees in Spark ML to Predict Real Estate Prices

• راه حل تمرین: درختان تصمیم با جرقه Exercise Solution: Decision Trees with Spark

Spark Streaming، Structured Streaming و GraphX Spark Streaming, Structured Streaming, and GraphX

• جریان جرقه Spark Streaming

• [فعالیت] جریان ساخت یافته در پایتون [Activity] Structured Streaming in Python

• [تمرین] برای ردیابی URL های پربازدید از ویندوز با جریان ساخت یافته استفاده کنید [Exercise] Use Windows with Structured Streaming to Track Most-Viewed URL's

• راه حل تمرین: استفاده از جریان ساخت یافته با ویندوز Exercise Solution: Using Structured Streaming with Windows

• GraphX GraphX

Spark Streaming، Structured Streaming و GraphX Spark Streaming, Structured Streaming, and GraphX

• جریان جرقه Spark Streaming

• [فعالیت] جریان ساخت یافته در پایتون [Activity] Structured Streaming in Python

• [تمرین] برای ردیابی URL های پربازدید از ویندوز با جریان ساخت یافته استفاده کنید [Exercise] Use Windows with Structured Streaming to Track Most-Viewed URL's

• راه حل تمرین: استفاده از جریان ساخت یافته با ویندوز Exercise Solution: Using Structured Streaming with Windows

• GraphX GraphX

تو موفق شدی! از اینجا کجا برویم You Made It! Where to Go from Here.

• درباره Spark و Data Science بیشتر بدانید Learning More about Spark and Data Science

• سخنرانی جایزه: دوره های بیشتری برای کشف! Bonus Lecture: More courses to explore!

تو موفق شدی! از اینجا کجا برویم You Made It! Where to Go from Here.

• درباره Spark و Data Science بیشتر بدانید Learning More about Spark and Data Science

• سخنرانی جایزه: دوره های بیشتری برای کشف! Bonus Lecture: More courses to explore!