آموزش خط لوله‌های داده استریمینگ با Kafka و Spark - آخرین آپدیت

استریمینگ رویدادها با Apache Kafka Event Streaming with Apache Kafka

• معرفی تخصص Specialization Introduction

• معرفی دوره Course Introduction

• داده‌های استریمینگ و معماری رویداد-محور Streaming Data and Event-Driven Architecture

• مفاهیم اصلی Apache Kafka Apache Kafka Core Concepts

• اجرای محلی Apache Kafka Running Apache Kafka Locally

• تولید رویدادها با پایتون Producing Events with Python

• مصرف رویدادها با پایتون Consuming Events with Python

• کار با پارتیشن‌های کافکا و گروه‌های مصرف‌کننده Working with Kafka Partitions and Consumer Groups

پردازش استریمینگ با PySpark Streaming Processing with PySpark

• مبانی Spark Structured Streaming Spark Structured Streaming Fundamentals

• زمان رویداد، پنجره‌ها و داده‌های دیر رسیده Event Time, Windows, and Late Data

• خواندن رویدادهای کافکا با Structured Streaming Reading Kafka Events with Structured Streaming

• فیلتر کردن و غنی‌سازی داده‌های استریمینگ Filtering and Enriching Streaming Data

• ایجاد تجمیع‌های استریمینگ پنجره‌ای Creating Windowed Streaming Aggregations

• استفاده از چک‌پوینت‌ها برای بازیابی استریم Using Checkpoints for Stream Recovery

• خروجی‌های استریمینگ، چک‌پوینت‌ها و بازیابی Streaming Outputs, Checkpoints, and Recovery

کیفیت، مانیتورینگ و تحویل داده Quality, Monitoring, and Delivery

• کیفیت داده برای خط لوله‌های دسته‌ای و استریمینگ Data Quality for Batch and Streaming Pipelines

• مانیتورینگ خط لوله و آمادگی عملیاتی Pipeline Monitoring and Operational Readiness

• اعتبارسنجی رویدادهای استریمینگ با پایتون Validating Streaming Events with Python

• مانیتورینگ کافکا و جاب‌های استریمینگ Monitoring Kafka and Streaming Jobs

• مدیریت خطاها و راه‌اندازی مجدد خط لوله Handling Failures and Restarting the Pipeline

• ساخت یک خط لوله استریمینگ متن‌باز و قابل اطمینان Building a Reliable Open-Source Streaming Pipeline

• جمع‌بندی دوره Course Summary