آموزش پردازش داده‌های بلادرنگ (Real-time) با Azure Databricks - آخرین آپدیت

سرفصل ها و درس ها

درک مفاهیم استریمینگ داده‌های بلادرنگ و یکپارچه‌سازی با Azure Event Hub Understand Real-time Data Streaming Concepts and Azure Event Hub Integration

• پردازش دسته‌ای (Batch) در مقابل پردازش بلادرنگ (Real-time) Batch vs. Real-time Data Processing

• مفاهیم اصلی و معماری Azure Event Hub Azure Event Hub: Core Concepts and Architecture

• موارد کاربرد استریمینگ بلادرنگ در Azure Use Cases for Real-time Streaming in Azure

• مقایسه Event Hub و Kafka Comparing Event Hub and Kafka

راه‌اندازی و پیکربندی Azure Databricks برای پردازش داده‌های استریم از Event Hub Set up and Configure Azure Databricks to Process Streaming Data from Event Hub

• اتصال Azure Databricks به Azure Event Hub Connecting Azure Databricks with Azure Event Hub

• آشنایی با Structured Streaming Introduction to Structured Streaming

• مدیریت تکامل طرح‌واره و داده‌های با تأخیر Handling Schema Evolution and Late-arriving Data

• بررسی Checkpointing و تحمل خطا (Fault Tolerance) Checkpointing and Fault Tolerance

پیاده‌سازی تحلیل‌های بلادرنگ و تشخیص ناهنجاری‌ها Implement Real-time Analytics and Anomaly Detection

• تجمیع‌های پنجره‌ای (Windowed Aggregations) در استریم‌های بلادرنگ Windowed Aggregations in Real-time Streams

• پردازش Stateful در Structured Streaming Stateful Processing in Structured Streaming

• تشخیص بلادرنگ ناهنجاری‌ها Real-time Anomaly Detection

• غنی‌سازی داده‌های استریمینگ Enriching Streaming Data

مانیتورینگ و مقیاس‌پذیری ورک‌لودهای استریم در Azure Databricks Monitor and Scale Streaming Workloads in Azure Databricks

• مقیاس‌پذیری خودکار برای بهینه‌سازی استریم Autoscaling for Stream Optimization

• مانیتورینگ جاب‌های استریمینگ در Databricks Monitoring Streaming Jobs in Databricks

• عیب‌یابی مسائل مربوط به تأخیر (Latency) و فقدان داده‌ها Troubleshooting Latency and Data Loss Issues

• استراتژی‌های بهینه‌سازی هزینه Cost Optimization Strategies