آموزش پردازش استریم بلادرنگ با PySpark - آخرین آپدیت

سرفصل ها و درس ها

درک مفاهیم اسپارک استریمینگ Understanding Spark Streaming

• مقایسه پردازش دسته‌ای در مقابل استریمینگ Batching vs. Streaming

• استریمینگ ساختاریافته (Structured Streaming) Structured Streaming

• مفاهیم کلیدی Key Concepts

• حالت‌های خروجی (Output Modes) Output Modes

خواندن و پردازش داده‌های استریم با PySpark Read and Process Streaming Data with PySpark

• منابع ورودی و مقصدهای خروجی Input Sources and Output Sinks

• عملیات استریمینگ Streaming Operations

• عملیات پنجره‌ای (Window Operations) Window Operations

• مدیریت داده‌های تأخیری Handling Late Data

انجام پردازش استریم Stateful Perform Stateful Stream Processing

• اتصال استریم‌ها (Stream Joins) Stream Joins

• مفاهیم اتصال استریم به استریم Stream-Stream Join Concepts

• مدیریت پیشرفته وضعیت گروه (Group State) Advanced Group State Management

• تحمل خطا (Fault Tolerance) Fault Tolerance

بهینه‌سازی، مقیاس‌بندی و استقرار گردش‌کارهای استریمینگ Optimize, Scale, and Deploy Streaming Workflows

• کاهش تأخیر (Latency) Reducing Latency

• افزایش نرخ پردازش (Throughput) Increasing Throughtput

• رابط کاربری اسپارک (Spark UI) Spark Ui

• استقرار با Apache Airflow Deploying with Apache Airflow

• بهترین روش‌های امنیتی Security Best Practices

• لاگ‌گذاری ساختاریافته Structured Logging