آموزش Apache Spark 3 - پردازش جریان در زمان واقعی با استفاده از پایتون

سرفصل ها و درس ها

قبل از اینکه تو شروع کنی Before you start

• درباره دوره About the Course

• درباره دوره About the Course

• پیش نیاز دوره Course Prerequisite

• پیش نیاز دوره Course Prerequisite

• کد منبع و سایر منابع Source Code and Other Resources

قبل از اینکه تو شروع کنی Before you start

• کد منبع و سایر منابع Source Code and Other Resources

محیط خود را تنظیم کنید Setup your Environment

• محیط توسعه جرقه Spark Development Environment

• کاربر ویندوز - پیش نیازهای نصب Spark Windows User - Spark Installation Prerequisites

• کاربر ویندوز - پیش نیازهای نصب Spark Windows User - Spark Installation Prerequisites

• کاربر ویندوز - نصب Apache Spark Windows User - Installing Apache Spark

• کاربر ویندوز - IDE خود را راه اندازی و آزمایش کنید Windows User - Setup and test your IDE

• کاربر ویندوز - IDE خود را راه اندازی و آزمایش کنید Windows User - Setup and test your IDE

• کاربر مک - نصب Apache Spark Mac User - Installing Apache Spark

• کاربر مک - IDE خود را راه اندازی و آزمایش کنید Mac User - Setup and test your IDE

• آپاچی کافکا را نصب و اجرا کنید Install and run Apache Kafka

• آپاچی کافکا را نصب و اجرا کنید Install and run Apache Kafka

محیط خود را تنظیم کنید Setup your Environment

• محیط توسعه جرقه Spark Development Environment

• کاربر ویندوز - نصب Apache Spark Windows User - Installing Apache Spark

• کاربر مک - نصب Apache Spark Mac User - Installing Apache Spark

• کاربر مک - IDE خود را راه اندازی و آزمایش کنید Mac User - Setup and test your IDE

شروع کار با Spark Structured Streaming Getting started with Spark Structured Streaming

• مقدمه ای بر پردازش جریانی Introduction to Stream Processing

• مقدمه ای بر پردازش جریانی Introduction to Stream Processing

• Spark Streaming API - DStream vs Structured Streaming Spark Streaming APIs - DStream Vs Structured Streaming

• Spark Streaming API - DStream vs Structured Streaming Spark Streaming APIs - DStream Vs Structured Streaming

• ایجاد اولین برنامه پردازش جریان شما Creating your first stream processing application

• مدل پردازش جریان در اسپارک Stream processing model in Spark

• مدل پردازش جریان در اسپارک Stream processing model in Spark

• کار با فایل ها و دایرکتوری ها Working with Files and Directories

• منابع جریان، سینک ها و حالت خروجی Streaming Sources, Sinks and Output Mode

• منابع جریان، سینک ها و حالت خروجی Streaming Sources, Sinks and Output Mode

• تحمل خطا و راه اندازی مجدد Fault Tolerance and Restarts

شروع کار با Spark Structured Streaming Getting started with Spark Structured Streaming

• ایجاد اولین برنامه پردازش جریان شما Creating your first stream processing application

• کار با فایل ها و دایرکتوری ها Working with Files and Directories

• تحمل خطا و راه اندازی مجدد Fault Tolerance and Restarts

جریان جرقه با کافکا Spark Streaming with Kafka

• پخش جریانی از کافکا به عنوان منبع Streaming from Kafka as a Source

• پخش جریانی از کافکا به عنوان منبع Streaming from Kafka as a Source

• کار با کافکا سینک Working with Kafka Sinks

• کار با کافکا سینک Working with Kafka Sinks

• برنامه جریان چند پرس و جو Multi-query Streams Application

• برنامه جریان چند پرس و جو Multi-query Streams Application

• سریال سازی کافکا و سریال زدایی برای اسپارک Kafka Serialization and Deserialization for Spark

• ایجاد سینک های Kafka AVRO Creating Kafka AVRO Sinks

• ایجاد سینک های Kafka AVRO Creating Kafka AVRO Sinks

• کار با منبع Kafka AVRO Working with Kafka AVRO Source

• کار با منبع Kafka AVRO Working with Kafka AVRO Source

جریان جرقه با کافکا Spark Streaming with Kafka

• سریال سازی کافکا و سریال زدایی برای اسپارک Kafka Serialization and Deserialization for Spark

پنجره ها و مصالح Windowing and Aggregates

• دگرگونی‌های بی‌اتباع در مقابل Statefull Stateless Vs Statefull transformations

• دگرگونی‌های بی‌اتباع در مقابل Statefull Stateless Vs Statefull transformations

• زمان رویداد و پنجره Event time and Windowing

• زمان رویداد و پنجره Event time and Windowing

• تجمع پنجره غلتکی Tumbling Window aggregate

• تجمع پنجره غلتکی Tumbling Window aggregate

• واترمارک کردن پنجره های خود Watermarking your windows

• واترمارک کردن پنجره های خود Watermarking your windows

• حالت های واترمارک و خروجی Watermark and output modes

• حالت های واترمارک و خروجی Watermark and output modes

• پنجره کشویی Sliding Window

پنجره ها و مصالح Windowing and Aggregates

• پنجره کشویی Sliding Window

پردازش جریانی و پیوستن Stream Processing and Joins

• پیوستن جریان به منبع استاتیک Joining Stream to static source

• پیوستن استریم به جریانی دیگر Joining Stream to another Stream

• پخش واترمارک Streaming Watermark

• پخش واترمارک Streaming Watermark

• پخش جریانی اتصالات خارجی Streaming Outer Joins

پردازش جریانی و پیوستن Stream Processing and Joins

• پیوستن جریان به منبع استاتیک Joining Stream to static source

• پیوستن استریم به جریانی دیگر Joining Stream to another Stream

• پخش جریانی اتصالات خارجی Streaming Outer Joins

به یادگیری ادامه دهید Keep Learning

• کلمه پایانی Final Word

• سخنرانی جایزه: اضافی دریافت کنید Bonus Lecture : Get Extra

به یادگیری ادامه دهید Keep Learning

• کلمه پایانی Final Word

• سخنرانی جایزه: اضافی دریافت کنید Bonus Lecture : Get Extra