آموزش آپاچی اسپارک با اسکالا - با داده های بزرگ کار می کنیم!

سرفصل ها و درس ها

شروع شدن Getting Started

• Udemy 101: بیشترین بهره را از این دوره ببرید Udemy 101: Getting the Most From This Course

• لینک دانلود جایگزین برای مجموعه داده ml-100k Alternate download link for the ml-100k dataset

• هشدار: در سخنرانی بعدی جاوا 16 را نصب نکنید WARNING: DO NOT INSTALL JAVA 16 IN THE NEXT LECTURE

• معرفی و نصب مواد درسی IntelliJ و Scala Introduction, and installing the course materials, IntelliJ, and Scala

• مقدمه ای بر آپاچی اسپارک Introduction to Apache Spark

• مبانی جرقه Spark Basics

• یادداشت مهم Important note

شروع شدن Getting Started

• Udemy 101: بیشترین بهره را از این دوره ببرید Udemy 101: Getting the Most From This Course

• لینک دانلود جایگزین برای مجموعه داده ml-100k Alternate download link for the ml-100k dataset

• هشدار: در سخنرانی بعدی جاوا 16 را نصب نکنید WARNING: DO NOT INSTALL JAVA 16 IN THE NEXT LECTURE

• معرفی و نصب مواد درسی IntelliJ و Scala Introduction, and installing the course materials, IntelliJ, and Scala

• مقدمه ای بر آپاچی اسپارک Introduction to Apache Spark

• مبانی جرقه Spark Basics

• یادداشت مهم Important note

دوره تصادف اسکالا [اختیاری] Scala Crash Course [Optional]

• [فعالیت] مبانی اسکالا [Activity] Scala Basics

• [تمرین] کنترل جریان در اسکالا [Exercise] Flow Control in Scala

• [تمرین] توابع در اسکالا [Exercise] Functions in Scala

• [تمرین] ساختارهای داده در اسکالا [Exercise] Data Structures in Scala

دوره تصادف اسکالا [اختیاری] Scala Crash Course [Optional]

• [فعالیت] مبانی اسکالا [Activity] Scala Basics

• [تمرین] کنترل جریان در اسکالا [Exercise] Flow Control in Scala

• [تمرین] توابع در اسکالا [Exercise] Functions in Scala

• [تمرین] ساختارهای داده در اسکالا [Exercise] Data Structures in Scala

استفاده از مجموعه داده های توزیع شده انعطاف پذیر (RDD) Using Resilient Distributed Datasets (RDDs)

• مجموعه داده های توزیع شده انعطاف پذیر The Resilient Distributed Dataset

• نمونه هیستوگرام رتبه بندی Ratings Histogram Example

• لوازم داخلی اسپارک Spark Internals

• کلید/ارزش RDD، و میانگین دوستان بر اساس سن مثال Key / Value RDD's, and the Average Friends by Age example

• [فعالیت] اجرای میانگین دوستان بر اساس سن مثال [Activity] Running the Average Friends by Age Example

• فیلتر کردن RDDها و حداقل دما بر اساس مکان مثال Filtering RDD's, and the Minimum Temperature by Location Example

• [فعالیت] اجرای مثال حداقل دما و تغییر آن برای حداکثر [Activity] Running the Minimum Temperature Example, and Modifying it for Maximum

• [فعالیت] شمارش کلمات با استفاده از Flatmap() [Activity] Counting Word Occurrences using Flatmap()

• [فعالیت] بهبود اسکریپت تعداد کلمات با عبارات منظم [Activity] Improving the Word Count Script with Regular Expressions

• [فعالیت] مرتب سازی نتایج شمارش کلمات [Activity] Sorting the Word Count Results

• [تمرین] کل مبلغ خرج شده توسط مشتری را بیابید [Exercise] Find the Total Amount Spent by Customer

• [تمرین] نتایج خود را بررسی کنید، و آنها را بر اساس کل مبلغ صرف شده مرتب کنید [Exercise] Check your Results, and Sort Them by Total Amount Spent

• نتایج و اجرای خود را در مقابل من بررسی کنید Check Your Results and Implementation Against Mine

• امتحان: RDD Quiz: RDD's

استفاده از مجموعه داده های توزیع شده انعطاف پذیر (RDD) Using Resilient Distributed Datasets (RDDs)

• مجموعه داده های توزیع شده انعطاف پذیر The Resilient Distributed Dataset

• نمونه هیستوگرام رتبه بندی Ratings Histogram Example

• لوازم داخلی اسپارک Spark Internals

• کلید/ارزش RDD، و میانگین دوستان بر اساس سن مثال Key / Value RDD's, and the Average Friends by Age example

• [فعالیت] اجرای میانگین دوستان بر اساس سن مثال [Activity] Running the Average Friends by Age Example

• فیلتر کردن RDDها و حداقل دما بر اساس مکان مثال Filtering RDD's, and the Minimum Temperature by Location Example

• [فعالیت] اجرای مثال حداقل دما و تغییر آن برای حداکثر [Activity] Running the Minimum Temperature Example, and Modifying it for Maximum

• [فعالیت] شمارش کلمات با استفاده از Flatmap() [Activity] Counting Word Occurrences using Flatmap()

• [فعالیت] بهبود اسکریپت تعداد کلمات با عبارات منظم [Activity] Improving the Word Count Script with Regular Expressions

• [فعالیت] مرتب سازی نتایج شمارش کلمات [Activity] Sorting the Word Count Results

• [تمرین] کل مبلغ خرج شده توسط مشتری را بیابید [Exercise] Find the Total Amount Spent by Customer

• [تمرین] نتایج خود را بررسی کنید، و آنها را بر اساس کل مبلغ صرف شده مرتب کنید [Exercise] Check your Results, and Sort Them by Total Amount Spent

• نتایج و اجرای خود را در مقابل من بررسی کنید Check Your Results and Implementation Against Mine

• امتحان: RDD Quiz: RDD's

SparkSQL، DataFrames و DataSets SparkSQL, DataFrames, and DataSets

• مقدمه ای بر SparkSQL Introduction to SparkSQL

• [فعالیت] با استفاده از SparkSQL [Activity] Using SparkSQL

• [فعالیت] استفاده از DataSets [Activity] Using DataSets

• [تمرین] مثال «دوستان بر اساس سن» را با استفاده از DataSets اجرا کنید [Exercise] Implement the "Friends by Age" example using DataSets

• راه حل تمرین: دوستان بر اساس سن، با مجموعه داده ها. Exercise Solution: Friends by Age, with Datasets.

• [فعالیت] مثال تعداد کلمات، با استفاده از مجموعه داده ها [Activity] Word Count example, using Datasets

• [فعالیت] بازبینی مثال حداقل دما، با مجموعه داده ها [Activity] Revisiting the Minimum Temperature example, with Datasets

• [تمرین] مسئله «کل خرج شده توسط مشتری» را با Datasets پیاده کنید [Exercise] Implement the "Total Spent by Customer" problem with Datasets

• راه حل تمرین: کل هزینه شده توسط مشتری با مجموعه داده ها Exercise Solution: Total Spent by Customer with Datasets

• آزمون: SparkSQL Quiz: SparkSQL

SparkSQL، DataFrames و DataSets SparkSQL, DataFrames, and DataSets

• مقدمه ای بر SparkSQL Introduction to SparkSQL

• [فعالیت] با استفاده از SparkSQL [Activity] Using SparkSQL

• [فعالیت] استفاده از DataSets [Activity] Using DataSets

• [تمرین] مثال «دوستان بر اساس سن» را با استفاده از DataSets اجرا کنید [Exercise] Implement the "Friends by Age" example using DataSets

• راه حل تمرین: دوستان بر اساس سن، با مجموعه داده ها. Exercise Solution: Friends by Age, with Datasets.

• [فعالیت] مثال تعداد کلمات، با استفاده از مجموعه داده ها [Activity] Word Count example, using Datasets

• [فعالیت] بازبینی مثال حداقل دما، با مجموعه داده ها [Activity] Revisiting the Minimum Temperature example, with Datasets

• [تمرین] مسئله «کل خرج شده توسط مشتری» را با Datasets پیاده کنید [Exercise] Implement the "Total Spent by Customer" problem with Datasets

• راه حل تمرین: کل هزینه شده توسط مشتری با مجموعه داده ها Exercise Solution: Total Spent by Customer with Datasets

• آزمون: SparkSQL Quiz: SparkSQL

نمونه های پیشرفته از برنامه های Spark Advanced Examples of Spark Programs

• [فعالیت] محبوب ترین فیلم را پیدا کنید [Activity] Find the Most Popular Movie

• [فعالیت] از متغیرهای پخش برای نمایش نام فیلم استفاده کنید [Activity] Use Broadcast Variables to Display Movie Names

• [فعالیت] محبوب ترین ابرقهرمان را در نمودار اجتماعی پیدا کنید [Activity] Find the Most Popular Superhero in a Social Graph

• [تمرین] مبهم ترین ابرقهرمانان را پیدا کنید [Exercise] Find the Most Obscure Superheroes

• راه حل تمرین: مبهم ترین ابرقهرمانان را پیدا کنید Exercise Solution: Find the Most Obscure Superheroes

• درجات جدایی ابرقهرمانی: معرفی جستجوی عرض-اول Superhero Degrees of Separation: Introducing Breadth-First Search

• درجات جدایی ابرقهرمانی: انباشته‌کننده‌ها و پیاده‌سازی BFS در اسپارک Superhero Degrees of Separation: Accumulators, and Implementing BFS in Spark

• [فعالیت] درجات جدایی ابرقهرمانی: کد را مرور کنید و آن را اجرا کنید! [Activity] Superhero Degrees of Separation: Review the code, and run it!

• فیلتر مشارکتی مبتنی بر آیتم در Spark، cache() و persist() Item-Based Collaborative Filtering in Spark, cache(), and persist()

• [فعالیت] اجرای اسکریپت فیلم های مشابه با استفاده از Spark's Cluster Manager [Activity] Running the Similar Movies Script using Spark's Cluster Manager

• [تمرین] کیفیت فیلم های مشابه را بهبود بخشید [Exercise] Improve the Quality of Similar Movies

نمونه های پیشرفته از برنامه های Spark Advanced Examples of Spark Programs

• [فعالیت] محبوب ترین فیلم را پیدا کنید [Activity] Find the Most Popular Movie

• [فعالیت] از متغیرهای پخش برای نمایش نام فیلم استفاده کنید [Activity] Use Broadcast Variables to Display Movie Names

• [فعالیت] محبوب ترین ابرقهرمان را در نمودار اجتماعی پیدا کنید [Activity] Find the Most Popular Superhero in a Social Graph

• [تمرین] مبهم ترین ابرقهرمانان را پیدا کنید [Exercise] Find the Most Obscure Superheroes

• راه حل تمرین: مبهم ترین ابرقهرمانان را پیدا کنید Exercise Solution: Find the Most Obscure Superheroes

• درجات جدایی ابرقهرمانی: معرفی جستجوی عرض-اول Superhero Degrees of Separation: Introducing Breadth-First Search

• درجات جدایی ابرقهرمانی: انباشته‌کننده‌ها و پیاده‌سازی BFS در اسپارک Superhero Degrees of Separation: Accumulators, and Implementing BFS in Spark

• [فعالیت] درجات جدایی ابرقهرمانی: کد را مرور کنید و آن را اجرا کنید! [Activity] Superhero Degrees of Separation: Review the code, and run it!

• فیلتر مشارکتی مبتنی بر آیتم در Spark، cache() و persist() Item-Based Collaborative Filtering in Spark, cache(), and persist()

• [فعالیت] اجرای اسکریپت فیلم های مشابه با استفاده از Spark's Cluster Manager [Activity] Running the Similar Movies Script using Spark's Cluster Manager

• [تمرین] کیفیت فیلم های مشابه را بهبود بخشید [Exercise] Improve the Quality of Similar Movies

در حال اجرا جرقه در یک خوشه Running Spark on a Cluster

• [فعالیت] استفاده از spark-submit برای اجرای اسکریپت‌های درایور Spark [Activity] Using spark-submit to run Spark driver scripts

• [فعالیت] بسته بندی اسکریپت های درایور با SBT [Activity] Packaging driver scripts with SBT

• [تمرین] یک اسکریپت را با SBT بسته بندی کنید و آن را به صورت محلی با spark-submit اجرا کنید [Exercise] Package a Script with SBT and Run it Locally with spark-submit

• راه حل تمرین: با استفاده از SBT و spark-submit Exercise solution: Using SBT and spark-submit

• معرفی Amazon Elastic MapReduce Introducing Amazon Elastic MapReduce

• ایجاد فیلم های مشابه از یک میلیون رتبه در EMR Creating Similar Movies from One Million Ratings on EMR

• پارتیشن بندی Partitioning

• بهترین تمرین ها برای دویدن روی یک خوشه Best Practices for Running on a Cluster

• عیب یابی و مدیریت وابستگی ها Troubleshooting, and Managing Dependencies

• مسابقه: جرقه در یک خوشه Quiz: Spark on a Cluster

در حال اجرا جرقه در یک خوشه Running Spark on a Cluster

• [فعالیت] استفاده از spark-submit برای اجرای اسکریپت‌های درایور Spark [Activity] Using spark-submit to run Spark driver scripts

• [فعالیت] بسته بندی اسکریپت های درایور با SBT [Activity] Packaging driver scripts with SBT

• [تمرین] یک اسکریپت را با SBT بسته بندی کنید و آن را به صورت محلی با spark-submit اجرا کنید [Exercise] Package a Script with SBT and Run it Locally with spark-submit

• راه حل تمرین: با استفاده از SBT و spark-submit Exercise solution: Using SBT and spark-submit

• معرفی Amazon Elastic MapReduce Introducing Amazon Elastic MapReduce

• ایجاد فیلم های مشابه از یک میلیون رتبه در EMR Creating Similar Movies from One Million Ratings on EMR

• پارتیشن بندی Partitioning

• بهترین تمرین ها برای دویدن روی یک خوشه Best Practices for Running on a Cluster

• عیب یابی و مدیریت وابستگی ها Troubleshooting, and Managing Dependencies

• مسابقه: جرقه در یک خوشه Quiz: Spark on a Cluster

یادگیری ماشین با Spark ML Machine Learning with Spark ML

• معرفی MLLib Introducing MLLib

• [فعالیت] استفاده از MLLib برای تولید توصیه‌های فیلم [Activity] Using MLLib to Produce Movie Recommendations

• رگرسیون خطی با MLLib Linear Regression with MLLib

• [فعالیت] اجرای رگرسیون خطی با اسپارک [Activity] Running a Linear Regression with Spark

• [تمرین] پیش بینی ارزش املاک و مستغلات با درختان تصمیم در Spark [Exercise] Predict Real Estate Values with Decision Trees in Spark

• راه حل تمرین: پیش بینی املاک و مستغلات با درختان تصمیم در اسپارک Exercise Solution: Predicting Real Estate with Decision Trees in Spark

• امتحان: Spark ML Quiz: Spark ML

یادگیری ماشین با Spark ML Machine Learning with Spark ML

• معرفی MLLib Introducing MLLib

• [فعالیت] استفاده از MLLib برای تولید توصیه‌های فیلم [Activity] Using MLLib to Produce Movie Recommendations

• رگرسیون خطی با MLLib Linear Regression with MLLib

• [فعالیت] اجرای رگرسیون خطی با اسپارک [Activity] Running a Linear Regression with Spark

• [تمرین] پیش بینی ارزش املاک و مستغلات با درختان تصمیم در Spark [Exercise] Predict Real Estate Values with Decision Trees in Spark

• راه حل تمرین: پیش بینی املاک و مستغلات با درختان تصمیم در اسپارک Exercise Solution: Predicting Real Estate with Decision Trees in Spark

• امتحان: Spark ML Quiz: Spark ML

معرفی Spark Streaming Intro to Spark Streaming

• DStream API برای Spark Streaming The DStream API for Spark Streaming

• [فعالیت] نظارت در زمان واقعی بر محبوب ترین هشتگ ها در توییتر [Activity] Real-time Monitoring of the Most Popular Hashtags on Twitter

• جریان ساخت یافته Structured Streaming

• [فعالیت] استفاده از جریان ساخت یافته برای تجزیه و تحلیل گزارش بلادرنگ [Activity] Using Structured Streaming for real-time log analysis

• [تمرین] عملیات پنجره‌دار با جریان ساخت‌یافته [Exercise] Windowed Operations with Structured Streaming

• راه حل تمرین: URL های برتر در یک پنجره 30 ثانیه ای Exercise Solution: Top URL's in a 30-second Window

• مسابقه: جریان جرقه Quiz: Spark Streaming

معرفی Spark Streaming Intro to Spark Streaming

• DStream API برای Spark Streaming The DStream API for Spark Streaming

• [فعالیت] نظارت در زمان واقعی بر محبوب ترین هشتگ ها در توییتر [Activity] Real-time Monitoring of the Most Popular Hashtags on Twitter

• جریان ساخت یافته Structured Streaming

• [فعالیت] استفاده از جریان ساخت یافته برای تجزیه و تحلیل گزارش بلادرنگ [Activity] Using Structured Streaming for real-time log analysis

• [تمرین] عملیات پنجره‌دار با جریان ساخت‌یافته [Exercise] Windowed Operations with Structured Streaming

• راه حل تمرین: URL های برتر در یک پنجره 30 ثانیه ای Exercise Solution: Top URL's in a 30-second Window

• مسابقه: جریان جرقه Quiz: Spark Streaming

معرفی GraphX Intro to GraphX

• GraphX، Pregel، و Breadth-First-Search با Pregel. GraphX, Pregel, and Breadth-First-Search with Pregel.

• استفاده از Pregel API با Spark GraphX Using the Pregel API with Spark GraphX

• [فعالیت] درجات جدایی ابرقهرمانی با استفاده از GraphX [Activity] Superhero Degrees of Separation using GraphX

معرفی GraphX Intro to GraphX

• GraphX، Pregel، و Breadth-First-Search با Pregel. GraphX, Pregel, and Breadth-First-Search with Pregel.

• استفاده از Pregel API با Spark GraphX Using the Pregel API with Spark GraphX

• [فعالیت] درجات جدایی ابرقهرمانی با استفاده از GraphX [Activity] Superhero Degrees of Separation using GraphX

تو موفق شدی! از اینجا کجا برویم You Made It! Where to Go from Here.

• یادگیری بیشتر و نکات شغلی Learning More, and Career Tips

• سخنرانی جایزه: دوره های بیشتری برای کشف! Bonus Lecture: More courses to explore!

تو موفق شدی! از اینجا کجا برویم You Made It! Where to Go from Here.

• یادگیری بیشتر و نکات شغلی Learning More, and Career Tips

• سخنرانی جایزه: دوره های بیشتری برای کشف! Bonus Lecture: More courses to explore!