آموزش پردازش داده های جریان با استفاده از Apache Spark Streamed Streaming

بررسی اجمالی دوره Course Overview

• بررسی اجمالی دوره Course Overview

شروع کار با خوشه مستقل Spark Getting Started with the Spark Standalone Cluster

• پیش نیازها و طرح کلی دوره Prerequisites and Course Outline

• رانندگان ، کارگران ، مجریان و وظایف Drivers, Workers, Executors, and Tasks

• معرفی Spark Standalone Introducing Spark Standalone

• طرح های در دسترس بودن بالا High Availability Schemes

• نسخه ی نمایشی: Spark را بر روی دستگاه محلی خود نصب و تنظیم کنید Demo: Install and Set up Spark on Your Local Machine

• نسخه ی نمایشی: فرآیندهای اصلی و کارگری را شروع کنید Demo: Start Master and Worker Processes

• نسخه ی نمایشی: پیکربندی فایل ها برای گره های کارگر Demo: Config Files for Worker Nodes

• نسخه ی نمایشی: پیکربندی پردازش با استفاده از آرگومان های خط فرمان Demo: Configuring Processing Using Command Line Arguments

• نسخه ی نمایشی: رابط کاربر Spark Web برای نظارت بر برنامه ها Demo: The Spark Web UI for Monitoring Applications

• نسخه ی نمایشی: پیکربندی در دسترس بودن بالا با Zookeeper Demo: High Availability Configuration with Zookeeper

• نسخه ی نمایشی: پیکربندی Spark Environment با استفاده از Config Files Demo: Configuring the Spark Environment Using Config Files

• امنیت برای خوشه های جرقه ای Security for Spark Clusters

• فشار پشت Backpressure

ادغام Spark با Apache Kafka Integrating Spark with Apache Kafka

• جریان اول معماری Stream-first Architecture

• معرفی Apache Kafka Introducing Apache Kafka

• نسخه ی نمایشی: نصب و راه اندازی Apache Kafka Demo: Installing and Setting up Apache Kafka

• نسخه ی نمایشی: ناشران ، مصرف کنندگان و عناوین Demo: Publishers, Consumers, and Topics

• نسخه ی نمایشی: ایجاد یک حساب برنامه نویس در توییتر Demo: Creating a Developer Account on Twitter

• نسخه ی نمایشی: اتصال به توییتر با استفاده از Tweepy Demo: Connecting to Twitter Using Tweepy

• نسخه ی نمایشی: استخراج و شمارش هشتگ ها از یک جریان Twitter Demo: Extracting and Counting Hashtags from a Twitter Stream

• نسخه ی نمایشی: خواندن پیام های ناشران متعدد Demo: Reading Messages from Multiple Publishers

• نسخه ی نمایشی: خواندن از چند موضوع Demo: Reading from Multiple Topics

• نسخه ی نمایشی: خواندن از چند موضوع با استفاده از یک عبارت منظم Demo: Reading from Multiple Topics Using a Regular Expression

• نسخه ی نمایشی: انجام تجزیه و تحلیل احساسات در توییت های ورودی Demo: Performing Sentiment Analysis on Input Tweets

• نسخه ی نمایشی: اختصاص وضعیت Sentiment به توییت ها Demo: Assigning Sentiment Status to Tweets

• نسخه ی نمایشی: نوشتن برای یک سینک ظرفشویی کافکا و سینک ظرفشویی Demo: Writing to a Kafka Sink and Foreach Sink

انجام عملیات پنجره سازی در جریان ها Performing Windowing Operations on Streams

• مروری کوتاه بر روی پنجره و زمان Brief Overview of Windowing and Time

• نسخه ی نمایشی: استخراج زمان رویداد و مرتبط کردن زمان پردازش Demo: Extracting Event Time and Associating Processing Time

• نسخه ی نمایشی: محاسبه تجمع در یک پنجره جهانی Demo: Computing Aggregations within a Global Window

• نسخه ی نمایشی: استفاده از Tumbling Windows و Sliding Windows Demo: Applying Tumbling Windows and Sliding Windows

انجام عملیات عضویت در جریان ها Performing Join Operations on Streams

• جریان می پیوندد Streaming Joins

• نسخه ی نمایشی: اجرای Static Streaming می پیوندد Demo: Performing Static Streaming Joins

• نسخه ی نمایشی: نوشتن نتایج به یک موضوع کافکا بپیوندید Demo: Writing Join Results to a Kafka Topic

• نسخه ی نمایشی: نوشتن نتایج در یک فایل پارکت پیوستن Demo: Writing Join Results to a Parquet File

• نسخه ی نمایشی: واحد تست UDF ها Demo: Unit Testing UDFs

• نسخه ی نمایشی: آزمایش دستی پایان به پایان برنامه Spark Demo: Manual End-to-end Testing of a Spark Application

• خلاصه و مطالعه بیشتر Summary and Further Study