آموزش پردازش استریمینگ داده‌های بزرگ (Big Data) با Spark Streaming، Scala و Spark 3 - آخرین آپدیت

شروع کار Getting Started

• مقدمه و آماده‌سازی محیط Introduction, and Getting Set Up

• فعالیت عملی: استریم توییترهای زنده با Spark Streaming [Activity] Stream Live Tweets with Spark Streaming!

دوره فشرده اسکالا (Scala) A Crash Course in Scala

• فعالیت عملی: مبانی اسکالا [Activity] Scala Basics

• تمرین: کنترل جریان در اسکالا [Exercise] Flow Control in Scala

• تمرین: توابع در اسکالا [Exercise] Functions in Scala

• تمرین: ساختارهای داده در اسکالا [Exercise] Data Structures in Scala

مفاهیم Spark Streaming Spark Streaming Concepts

• مقدمه‌ای بر اسپارک Introduction to Spark

• مجموعه داده‌های توزیع شده مقاوم (RDD) The Resilient Distributed Dataset (RDD)

• فعالیت عملی: RDD در عمل - برنامه ساده شمارش کلمات [Activity] RDD's in Action: Simple Word Count Application

• مقدمه‌ای بر Spark Streaming Introduction to Spark Streaming

• فعالیت عملی: بازبینی برنامه PrintTweets [Activity] Revisiting the PrintTweets application

• پنجره‌گذاری: تجمیع داده‌ها در بازه‌های زمانی طولانی‌تر Windowing: Aggregating data over longer time spans

• تحمل خطا در Spark Streaming Fault Tolerance in Spark Streaming

مثال‌های Spark Streaming با توییتر Spark Streaming Examples with Twitter

• تمرین: ذخیره توییترها روی دیسک [Exercise] Saving Tweets to Disk

• تمرین: ردیابی میانگین طول توییترها [Exercise] Tracking the Average Tweet Length

• تمرین: ردیابی محبوب‌ترین هشتگ‌ها [Exercise] Tracking the Most Popular Hashtags

مثال‌های Spark Streaming با Clickstream و لاگ‌های Apache Spark Streaming Examples with Clickstream / Apache Access Log Data

• تمرین: ردیابی پردرخواست‌ترین URLها [Exercise] Tracking the Top URL's Requested

• تمرین: هشداردهی برای خطاهای لاگ [Exercise] Alarming on Log Errors

• تمرین: ادغام Spark Streaming با Spark SQL [Exercise] Integrating Spark Streaming with Spark SQL

• مقدمه‌ای بر Structured Streaming Introduction to Structured Streaming

• فعالیت عملی: تحلیل فایل‌های لاگ Apache با Structured Streaming [Activity] Analyzing Apache Log files with Structured Streaming

ادغام با سایر سیستم‌ها Integrating with Other Systems

• ادغام با Apache Kafka Integrating with Apache Kafka

• ادغام با Apache Flume Integrating with Apache Flume

• ادغام با Amazon Kinesis Integrating with Amazon Kinesis

• فعالیت عملی: نوشتن دریافت‌کننده‌های داده سفارشی [Activity] Writing Custom Data Receivers

• ادغام با Cassandra Integrating with Cassandra

مثال‌های پیشرفته Spark Streaming Advanced Spark Streaming Examples

• تمرین: اطلاعات Stateful در استریم‌های اسپارک [Exercise] Stateful Information in Spark Streams

• فعالیت عملی: خوشه‌بندی K-Means در حالت استریمینگ [Activity] Streaming K-Means Clustering

• فعالیت عملی: رگرسیون خطی در حالت استریمینگ [Activity] Streaming Linear Regression

استقرار Spark Streaming در محیط عملیاتی Spark Streaming in Production

• فعالیت عملی: بسته‌بندی و اجرای کد اسپارک در محیط عملیاتی [Activity] Packaging and Running Spark Code in Production

• فعالیت عملی: بسته‌بندی کد با استفاده از SBT [Activity] Packaging Your Code with SBT

• اجرا روی کلاستر واقعی Hadoop با EMR Running on a Real Hadoop Cluster with EMR

• عیب‌یابی و بهینه‌سازی جاب‌های اسپارک Troubleshooting and Tuning Spark Jobs

پایان دوره You Made It!

• یادگیری بیشتر Learning More