آموزش Apache Spark با Scala – تسلط عملی بر داده‌های بزرگ (Big Data) - آخرین آپدیت

شروع به کار Getting Started

• مقدمه و نصب پیش‌نیازها، IntelliJ و Scala Introduction and Installing the Course Materials, IntelliJ, and Scala

• مقدمه‌ای بر Apache Spark Introduction to Apache Spark

دوره فشرده Scala (اختیاری) Scala Crash Course (Optional)

• فعالیت: مبانی Scala (Activity) Scala Basics

• تمرین: کنترل جریان در Scala (Exercise) Flow Control in Scala

• تمرین: توابع در Scala (Exercise) Functions in Scala

• تمرین: ساختارهای داده در Scala (Exercise) Data Structures in Scala

استفاده از مجموعه‌های داده توزیع شده مقاوم (RDDs) Using Resilient Distributed Datasets (RDDs)

• مجموعه داده توزیع شده مقاوم (RDD) The Resilient Distributed Dataset

• مثال هیستوگرام رتبه‌بندی Ratings Histogram Example

• ساختار داخلی Spark Spark Internals

• RDDهای کلید/مقدار و مثال میانگین دوستان بر اساس سن Key / Value RDDs, and the Average Friends by Age Example

• فعالیت: اجرای مثال میانگین دوستان بر اساس سن (Activity) Running the Average Friends by Age Example

• فیلتر کردن RDDها و مثال حداقل دما بر اساس مکان Filtering RDDs, and the Minimum Temperature by Location Example

• فعالیت: اجرای مثال حداقل دما و تغییر آن برای حداکثر دما (Activity) Running the Minimum Temperature Example, and Modifying It for Maximum

• فعالیت: شمارش تکرار کلمات با استفاده از Flatmap() (Activity) Counting Word Occurrences Using Flatmap()

• فعالیت: بهبود اسکریپت شمارش کلمات با Regular Expressions (Activity) Improving the Word Count Script with Regular Expressions

• فعالیت: مرتب‌سازی نتایج شمارش کلمات (Activity) Sorting the Word Count Results

• تمرین: یافتن مجموع مبلغ هزینه شده توسط مشتری (Exercise) Find the Total Amount Spent by Customer

• تمرین: بررسی نتایج و مرتب‌سازی بر اساس مجموع هزینه (Exercise) Check Your Results and Sort Them by Total Amount Spent

• بررسی نتایج و پیاده‌سازی در مقایسه با مدل ارائه‌شده Check Your Results and Implementation Against Mine

بررسی SparkSQL، دیتا-فریم‌ها و دیتا-ست‌ها SparkSQL, DataFrames, and DataSets

• مقدمه‌ای بر SparkSQL Introduction to SparkSQL

• فعالیت: استفاده از SparkSQL (Activity) Using SparkSQL

• فعالیت: استفاده از DataSets (Activity) Using DataSets

• تمرین: پیاده‌سازی مثال دوستان بر اساس سن با استفاده از DataSets (Exercise) Implement the Friends by Age Example Using DataSets

• پاسخ تمرین: دوستان بر اساس سن با DataSets Exercise Solution: Friends by Age, with DataSets

• فعالیت: مثال شمارش کلمات با استفاده از DataSets (Activity) Word Count Example Using DataSets

• فعالیت: بازبینی مثال حداقل دما با DataSets (Activity) Revisiting the Minimum Temperature Example, with DataSets

• تمرین: پیاده‌سازی مسئله مجموع هزینه مشتری با DataSets (Exercise) Implement the Total Spent by Customer Problem with DataSets

• پاسخ تمرین: مجموع هزینه مشتری با DataSets Exercise Solution: Total Spent by Customer with DataSets

مثال‌های پیشرفته از برنامه‌های Spark Advanced Examples of Spark Programs

• فعالیت: یافتن محبوب‌ترین فیلم (Activity) Find the Most Popular Movie

• فعالیت: استفاده از متغیرهای Broadcast برای نمایش نام فیلم‌ها (Activity) Use Broadcast Variables to Display Movie Names

• فعالیت: یافتن محبوب‌ترین ابرقهرمان در یک گراف اجتماعی (Activity) Find the Most Popular Superhero in a Social Graph

• تمرین: یافتن گمنام‌ترین ابرقهرمانان (Exercise) Find the Most Obscure Superheroes

• پاسخ تمرین: یافتن گمنام‌ترین ابرقهرمانان Exercise Solution: Find the Most Obscure Superheroes

• درجات جدایی ابرقهرمانان: معرفی جستجوی اول سطح (BFS) Superhero Degrees of Separation: Introducing Breadth-First Search

• درجات جدایی ابرقهرمانان: Accumulatorها و پیاده‌سازی BFS در Spark Superhero Degrees of Separation: Accumulators, and Implementing BFS in Spark

• فعالیت: درجات جدایی ابرقهرمانان: بررسی و اجرای کد (Activity) Superhero Degrees of Separation: Review the Code and Run It!

• فیلترینگ مشارکتی آیتم-محور در Spark، متدهای cache() و persist() Item-Based Collaborative Filtering in Spark, cache(), and persist()

• فعالیت: اجرای اسکریپت فیلم‌های مشابه با مدیریت کلاستر Spark (Activity) Running the Similar Movies Script Using Spark's Cluster Manager

• تمرین: بهبود کیفیت پیشنهاد فیلم‌های مشابه (Exercise) Improve the Quality of Similar Movies

اجرای Spark روی کلاستر Running Spark on a Cluster

• فعالیت: استفاده از spark-submit برای اجرای اسکریپت‌های درایور (Activity) Using spark-submit to Run Spark Driver Scripts

• فعالیت: بسته‌بندی اسکریپت‌های درایور با SBT (Activity) Packaging Driver Scripts with SBT

• تمرین: بسته‌بندی اسکریپت با SBT و اجرای محلی با spark-submit (Exercise) Package a Script with SBT and Run It Locally with spark-submit

• پاسخ تمرین: استفاده از SBT و spark-submit Exercise Solution: Using SBT and spark-submit

• معرفی Amazon Elastic MapReduce (EMR) Introducing Amazon Elastic MapReduce

• ساخت فیلم‌های مشابه از یک میلیون رتبه‌بندی در EMR Creating Similar Movies from One Million Ratings on EMR

• پارتیشن‌بندی (Partitioning) Partitioning

• بهترین روش‌ها برای اجرا روی کلاستر Best Practices for Running on a Cluster

• عیب‌یابی و مدیریت وابستگی‌ها Troubleshooting and Managing Dependencies

یادگیری ماشین با Spark ML Machine Learning with Spark ML

• معرفی MLLib Introducing MLLib

• فعالیت: استفاده از MLLib برای تولید توصیه‌های فیلم (Activity) Using MLLib to Produce Movie Recommendations

• رگرسیون خطی با MLLib Linear Regression with MLLib

• فعالیت: اجرای رگرسیون خطی با Spark (Activity) Running a Linear Regression with Spark

• تمرین: پیش‌بینی ارزش املاک با درخت‌های تصمیم در Spark (Exercise) Predict Real Estate Values with Decision Trees in Spark

• پاسخ تمرین: پیش‌بینی املاک با درخت‌های تصمیم در Spark Exercise Solution: Predicting Real Estate with Decision Trees in Spark

آشنایی با Spark Streaming Introduction to Spark Streaming

• رابط API مربوط به DStream برای Spark Streaming The DStream API for Spark Streaming

• فعالیت: مانیتورینگ بلادرنگ محبوب‌ترین هشتگ‌های توییتر (Activity) Real-Time Monitoring of the Most Popular Hashtags on Twitter

• استریمینگ ساختاریافته (Structured Streaming) Structured Streaming

• فعالیت: استفاده از Structured Streaming برای تحلیل لاگ‌های بلادرنگ (Activity) Using Structured Streaming for Real-Time Log Analysis

• تمرین: عملیات پنجره‌ای (Windowed) با Structured Streaming (Exercise) Windowed Operations with Structured Streaming

• پاسخ تمرین: برترین URLها در یک پنجره ۳۰ ثانیه‌ای Exercise Solution: Top URLs in a 30-Second Window

آشنایی با GraphX Introduction to GraphX

• معرفی GraphX، Pregel و جستجوی اول سطح با Pregel GraphX, Pregel, and Breadth-First Search with Pregel

• استفاده از API مربوط به Pregel در Spark GraphX Using the Pregel API with Spark GraphX

• فعالیت: درجات جدایی ابرقهرمانان با استفاده از GraphX (Activity) Superhero Degrees of Separation Using GraphX

پایان دوره و مسیر آینده You Made It! Where to Go from Here

• یادگیری بیشتر و نکات شغلی Learning More, and Career Tips