آموزش پنجره و پیوستن به عملیات در جریان داده با Apache Spark در Databricks

بررسی اجمالی دوره Course Overview

• بررسی اجمالی دوره Course Overview

انجام عملیات پنجره سازی روی داده ها Performing Windowing Operations on Data

• بررسی نسخه Version Check

• پیش نیازها و رئوس مطالب دوره Prerequisites and Course Outline

• دگرگونی های بی تابعیت و دولتی Stateless and Stateful Transformations

• ویندوز غلتکی، کشویی و جهانی Tumbling, Sliding, and Global Windows

• زمان رویداد، زمان مصرف و زمان پردازش Event Time, Ingestion Time, and Processing Time

• نسخه ی نمایشی: خواندن جریان داده ها از منبع فایل Demo: Reading Streaming Data from a File Source

• نسخه ی نمایشی: عملیات با استفاده از ویندوز جهانی Demo: Operations Using Global Windows

• نسخه ی نمایشی: عملیات با استفاده از Windows Tumbling Demo: Operations Using Tumbling Windows

• نسخه ی نمایشی: عملیات بیشتر با استفاده از Windows Tumbling Demo: More Operations Using Tumbling Windows

• نسخه ی نمایشی: عملیات با استفاده از ویندوز کشویی Demo: Operations Using Sliding Windows

کاوش تجمعات با استفاده از واترمارک Exploring Aggregations Using Watermarks

• نسخه ی نمایشی: ارائه یک خوشه کافکا HDInsight Demo: Provisioning an HDInsight Kafka Cluster

• نسخه ی نمایشی: پیکربندی کافکا برای جلوگیری از آدرس های IP Demo: Configuring Kafka to Avertise IP Addresses

• نسخه ی نمایشی: دسترسی به کارگزار Kafka، نام میزبان Zookeeper و آدرس های IP Demo: Accessing the Kafka Broker, Zookeeper Hostname, and IP Addresses

• نسخه ی نمایشی: ایجاد یک موضوع کافکا و راه اندازی یک تهیه کننده Demo: Creating a Kafka Topic and Setting up a Producer

• نسخه ی نمایشی: بررسی خوشه کافکا با خوشه Databricks Demo: Peering the Kafka Cluster with the Databricks Cluster

• نسخه ی نمایشی: کم کردن ویندوز با استفاده از زمان رویداد Demo: Tumbling Windows Using Event Time

• نسخه ی نمایشی: ویندوز کشویی با استفاده از زمان رویداد Demo: Sliding Windows Using Event Time

• واترمارک و داده های دیرهنگام Watermarks and Late Data

• پیکربندی واترمارک در Spark Configuring Watermarks in Spark

• واترمارکینگ به حالت محدود Watermarking to Limit State

• نسخه ی نمایشی: Azure Event Hubs به عنوان منبع جریان Demo: Azure Event Hubs as a Streaming Source

• نسخه ی نمایشی: انتشار رویدادها در مرکز رویدادهای Azure Demo: Publishing Events to Azure Event Hubs

• نسخه ی نمایشی: پیکربندی واترمارک در جریان ها Demo: Configuring Watermarks on Streams

انجام عملیات Join on Data Performing Join Operations on Data

• پیوستن به جریان Streaming Joins

• نسخه ی نمایشی: اتصالات جریانی-استاتیک: پیوستن کامل بیرونی Demo: Streaming-static Joins: Full Outer Join

• نسخه ی نمایشی: پیوستن های جریانی-استاتیک: سایر عملیات پیوستن Demo: Streaming-static Joins: Other Join Operations

• نسخه ی نمایشی: راه اندازی چندین منبع جریان Demo: Setting up Multiple Streaming Sources

• نسخه ی نمایشی: پیوستن به جریان-جریان Demo: Streaming-streaming Joins

• نسخه ی نمایشی: اتصالات داخلی با واترمارک Demo: Inner Joins with Watermarks

• نسخه ی نمایشی: اتصالات بیرونی و نیمه چپ چپ با واترمارک Demo: Left Outer and Left Semi Joins with Watermarks

• خلاصه و مطالعه بیشتر Summary and Further Study