آموزش جریان ساخت یافته در آپاچی اسپارک 2

بررسی اجمالی دوره Course Overview

• بررسی اجمالی دوره Course Overview

آشنایی با API جریان سطح بالا در Spark 2.x Understanding the High Level Streaming API in Spark 2.x

• بررسی نسخه Version Check

• نمای کلی ماژول Module Overview

• پیش نیازها و رئوس مطالب دوره Prerequisites and Course Outline

• مجموعه داده های توزیع شده انعطاف پذیر (RDD) Resilient Distributed Datasets (RDDs)

• معماری جریان و مدل پردازش جریان Streaming Architecture and the Stream Processing Model

• پردازش جریانی با استفاده از میکرو دسته در Spark 1 Stream Processing Using Micro-batches in Spark 1

• Spark 1 در مقابل Spark 2 Spark 1 vs. Spark 2

• دسته به عنوان پیشوند جریان Batch as a Prefix of Stream

• نسخه ی نمایشی: بسته های Spark، Kafka و Python را نصب و راه اندازی کنید Demo: Install and Setup Spark, Kafka, and Python Packages

• برنامه های کاربردی پیوسته با استفاده از جریان ساخت یافته Continuous Applications Using Structured Streaming

• محرک ها و حالت های خروجی Triggers and Output Modes

• API های یکپارچه برای دسته ای و جریانی Unified APIs For Batch And Streaming

• نسخه ی نمایشی: تعداد کلمات با داده های جریانی Demo: Word Count with Streaming Data

ساخت خطوط لوله جریان پیشرفته با استفاده از جریان ساختاری Building Advanced Streaming Pipelines Using Structured Streaming

• نمای کلی ماژول Module Overview

• نسخه ی نمایشی: حالت افزودن Demo: Append Mode

• نسخه ی نمایشی: حالت کامل Demo: Complete Mode

• نسخه ی نمایشی: تجمیع در داده های جریانی Demo: Aggregations on Streaming Data

• نسخه ی نمایشی: پرس و جوهای SQL در جریان داده ها Demo: SQL Queries on Streaming Data

• نسخه ی نمایشی: استفاده از UDF برای تقلید زمان رویداد Demo: Using a UDF to Mimic Event Time

• نسخه ی نمایشی: گروه بندی بر روی مهر زمانی و محرک های صریح Demo: Grouping on Timestamp and Explicit Triggers

• عملیات پنجره Stateful Stateful Window Operations

• پنجره های غلتشی و کشویی Tumbling and Sliding Windows

• رویداد، بلع، و زمان پردازش Event, Ingestion, and Processing Time

• نسخه ی نمایشی: عملیات پنجره Demo: Window Operations

• واترمارک و داده های دیرهنگام Watermarks and Late Data

• نسخه ی نمایشی: کلیدهای توییتر و توکن های دسترسی Demo: Twitter Keys and Access Tokens

• نسخه ی نمایشی: استفاده از Tweepy برای اتصال به جریان توییتر Demo: Using Tweepy to Connect to Twitter Streaming

• نسخه ی نمایشی: تعداد هشتگ ها در داده های جریانی توییتر Demo: Count Hashtags in Twitter Streaming Data

• نسخه ی نمایشی: تعداد هشتگ ها در جریان توییتر با استفاده از ویندوز Demo: Count Hashtags in a Twitter Stream Using Windows

• نسخه ی نمایشی: پیوستن به داده های دسته ای و جریانی Demo: Joining Batch and Streaming Data

• نسخه ی نمایشی: برای محاسبه میانگین هزینه بر اساس جنسیت عضو می شود Demo: Joins to Calculate Average Spend by Gender

• نسخه ی نمایشی: تجمیع رتبه بندی ها بر اساس سن Demo: Aggregating Ratings by Age

• نسخه ی نمایشی: پیوست های پنجره ای Demo: Windowed Joins

ادغام آپاچی کافکا با جریان ساخت یافته Integrating Apache Kafka with Structured Streaming

• نمای کلی ماژول Module Overview

• معرفی آپاچی کافکا Introducing Apache Kafka

• نسخه ی نمایشی: تولیدکنندگان و مصرف کنندگان کافکا Demo: Kafka Producers and Consumers

• نسخه ی نمایشی: تهیه کننده هشتگ توییت کافکا Demo: Kafka Tweet Hashtag Producer

• نسخه ی نمایشی: ادغام اسپارک با کافکا Demo: Integrating Spark with Kafka

• نسخه ی نمایشی: شمارش توییت های مثبت، منفی و خنثی Demo: Counting Positive, Negative, and Neutral Tweets

• خلاصه و مطالعه بیشتر Summary and Further Study