پخش داده های بزرگ با Spark Streaming، Scala و Spark 3! [ویدئو]

سرفصل ها و درس ها

شروع شدن Getting Started

• مقدمه و راه اندازی Introduction, and Getting Set Up

• [فعالیت] توییت‌های زنده را با Spark Streaming پخش کنید! [Activity] Stream Live Tweets with Spark Streaming!

یک دوره تصادف در اسکالا A Crash Course in Scala

• [فعالیت] مبانی اسکالا [Activity] Scala Basics

• [فعالیت] مبانی اسکالا [Activity] Scala Basics

• [تمرین] کنترل جریان در اسکالا [Exercise] Flow Control in Scala

• [تمرین] کنترل جریان در اسکالا [Exercise] Flow Control in Scala

• [تمرین] توابع در اسکالا [Exercise] Functions in Scala

• [تمرین] توابع در اسکالا [Exercise] Functions in Scala

• [تمرین] ساختارهای داده در اسکالا [Exercise] Data Structures in Scala

• [تمرین] ساختارهای داده در اسکالا [Exercise] Data Structures in Scala

یک دوره تصادف در اسکالا A Crash Course in Scala

مفاهیم جریان جرقه Spark Streaming Concepts

• مقدمه ای بر اسپارک Introduction to Spark

• مقدمه ای بر اسپارک Introduction to Spark

• مجموعه داده های توزیع شده انعطاف پذیر (RDD) The Resilient Distributed Dataset (RDD)

• مجموعه داده های توزیع شده انعطاف پذیر (RDD) The Resilient Distributed Dataset (RDD)

• [فعالیت] RDD در عمل: برنامه شمارش کلمات ساده [Activity] RDD's in Action: Simple Word Count Application

• [فعالیت] RDD در عمل: برنامه شمارش کلمات ساده [Activity] RDD's in Action: Simple Word Count Application

• مقدمه ای بر جریان اسپارک Introduction to Spark Streaming

• مقدمه ای بر جریان اسپارک Introduction to Spark Streaming

• [فعالیت] بازدید مجدد از برنامه PrintTweets [Activity] Revisiting the PrintTweets application

• [فعالیت] بازدید مجدد از برنامه PrintTweets [Activity] Revisiting the PrintTweets application

• پنجره: جمع آوری داده ها در بازه های زمانی طولانی تر Windowing: Aggregating data over longer time spans

• پنجره: جمع آوری داده ها در بازه های زمانی طولانی تر Windowing: Aggregating data over longer time spans

• تحمل خطا در جریان جرقه Fault Tolerance in Spark Streaming

• تحمل خطا در جریان جرقه Fault Tolerance in Spark Streaming

مفاهیم جریان جرقه Spark Streaming Concepts

نمونه های جریانی اسپارک با توییتر Spark Streaming Examples with Twitter

• [تمرین] ذخیره توییت ها در دیسک [Exercise] Saving Tweets to Disk

• [تمرین] ذخیره توییت ها در دیسک [Exercise] Saving Tweets to Disk

• [تمرین] پیگیری میانگین طول توییت [Exercise] Tracking the Average Tweet Length

• [تمرین] پیگیری میانگین طول توییت [Exercise] Tracking the Average Tweet Length

• [تمرین] ردیابی محبوب ترین هشتگ ها [Exercise] Tracking the Most Popular Hashtags

• [تمرین] ردیابی محبوب ترین هشتگ ها [Exercise] Tracking the Most Popular Hashtags

نمونه های جریانی اسپارک با توییتر Spark Streaming Examples with Twitter

مثال‌های پخش جریانی اسپارک با داده‌های گزارش دسترسی به کلیک استریم/آپاچی Spark Streaming Examples with Clickstream / Apache Access Log Data

• [تمرین] پیگیری URL درخواستی برتر [Exercise] Tracking the Top URL's Requested

• [تمرین] پیگیری URL درخواستی برتر [Exercise] Tracking the Top URL's Requested

• [تمرین] هشدار دهنده در مورد خطاهای ورود [Exercise] Alarming on Log Errors

• [تمرین] هشدار دهنده در مورد خطاهای ورود [Exercise] Alarming on Log Errors

• [تمرین] ادغام Spark Streaming با Spark SQL [Exercise] Integrating Spark Streaming with Spark SQL

• [تمرین] ادغام Spark Streaming با Spark SQL [Exercise] Integrating Spark Streaming with Spark SQL

• مقدمه ای بر جریان ساخت یافته Introduction to Structured Streaming

• مقدمه ای بر جریان ساخت یافته Introduction to Structured Streaming

• [فعالیت] تجزیه و تحلیل فایل های Apache Log با جریان ساخت یافته [Activity] Analyzing Apache Log files with Structured Streaming

• [فعالیت] تجزیه و تحلیل فایل های Apache Log با جریان ساخت یافته [Activity] Analyzing Apache Log files with Structured Streaming

مثال‌های پخش جریانی اسپارک با داده‌های گزارش دسترسی به کلیک استریم/آپاچی Spark Streaming Examples with Clickstream / Apache Access Log Data

ادغام با سایر سیستم ها Integrating with Other Systems

• ادغام با آپاچی کافکا Integrating with Apache Kafka

• ادغام با آپاچی کافکا Integrating with Apache Kafka

• ادغام با Apache Flume Integrating with Apache Flume

• ادغام با Apache Flume Integrating with Apache Flume

• ادغام با Amazon Kinesis Integrating with Amazon Kinesis

• ادغام با Amazon Kinesis Integrating with Amazon Kinesis

• [فعالیت] نوشتن گیرنده های سفارشی داده [Activity] Writing Custom Data Receivers

• [فعالیت] نوشتن گیرنده های سفارشی داده [Activity] Writing Custom Data Receivers

• ادغام با کاساندرا Integrating with Cassandra

• ادغام با کاساندرا Integrating with Cassandra

ادغام با سایر سیستم ها Integrating with Other Systems

نمونه های پیشرفته جریان جرقه Advanced Spark Streaming Examples

• [تمرین] اطلاعات وضعیتی در جریان اسپارک [Exercise] Stateful Information in Spark Streams

• [تمرین] اطلاعات وضعیتی در جریان اسپارک [Exercise] Stateful Information in Spark Streams

• [فعالیت] پخش جریانی K-Means Clustering [Activity] Streaming K-Means Clustering

• [فعالیت] پخش جریانی K-Means Clustering [Activity] Streaming K-Means Clustering

• [فعالیت] جریان رگرسیون خطی [Activity] Streaming Linear Regression

• [فعالیت] جریان رگرسیون خطی [Activity] Streaming Linear Regression

نمونه های پیشرفته جریان جرقه Advanced Spark Streaming Examples

جریان جرقه در تولید Spark Streaming in Production

• [فعالیت] بسته بندی و اجرای کد اسپارک در تولید [Activity] Packaging and Running Spark Code in Production

• [فعالیت] بسته بندی و اجرای کد اسپارک در تولید [Activity] Packaging and Running Spark Code in Production

• [فعالیت] بسته بندی کد خود با SBT [Activity] Packaging Your Code with SBT

• [فعالیت] بسته بندی کد خود با SBT [Activity] Packaging Your Code with SBT

• در حال اجرا بر روی یک کلاستر هدوپ واقعی با EMR Running on a Real Hadoop Cluster with EMR

• در حال اجرا بر روی یک کلاستر هدوپ واقعی با EMR Running on a Real Hadoop Cluster with EMR

• عیب یابی و تنظیم Spark Jobs Troubleshooting and Tuning Spark Jobs

• عیب یابی و تنظیم Spark Jobs Troubleshooting and Tuning Spark Jobs

جریان جرقه در تولید Spark Streaming in Production

تو موفق شدی! You Made It!

• یادگیری بیشتر Learning More

• یادگیری بیشتر Learning More

تو موفق شدی! You Made It!