آموزش مدیریت داده های جریان داده با Azure Databricks با استفاده از Spark Streamed Streaming

سرفصل ها و درس ها

بررسی اجمالی دوره Course Overview

• بررسی اجمالی دوره Course Overview

تنظیم محیط زیست Setting up the Environment

• طرح کلی دوره و پیش نیازها Course Outline and Prerequisites

• جمع بندی سریع: جریان جرقه ای ساختار یافته Quick Recap: Spark Structured Streaming

• سناریو Walkthrough Scenario Walkthrough

• پیکربندی Azure Event Hub ها به عنوان منبع Configuring Azure Event Hubs as Source

• برنامه نمونه را برای ارسال رویدادهای تاکسی NYC راه اندازی کنید Setup Sample App to Send NYC Taxi Events

• خلاصه Summary

ساخت خط لوله جریان Building Streaming Pipeline

• استخراج و پردازش داده های منبع Extracting and Processing Source Data

• اعمال تحولات Applying Transformations

• در حال بارگیری در پرونده ها Loading to Files

• درک تضمین های بازرسی و تحویل Understanding Checkpointing and Delivery Guarantees

• در حال بارگیری در Azure Event Hub Loading to Azure Event Hub

• در حال بارگیری در پایگاه داده Azure SQL Loading to Azure SQL Database

• خلاصه Summary

کار با Timestamps و ویندوز Working with Timestamps and Windows

• زمان وقوع ، مصرف و پردازش مهر زمان Event, Ingestion, and Processing Timestamps

• درک ویندوز Understanding Windows

• کار با ویندوز Working With Windows

• خلاصه Summary

مدیریت عملیات های دولتی Handling Stateful Operations

• درک مدیریت دولت Understanding State Management

• مدیریت داده های دیرهنگام با استفاده از علامت گذاری علامت Handling Late Data Using Watermarking

• تکثیر داده های پخش جریانی Deduplicating Streaming Data

• خلاصه Summary

کار با چندین جریان و مجموعه داده Working with Multiple Streams and Datasets

• پیوستن به جریان با داده های استاتیک Joining Stream with Static Data

• ترکیب چندین جریان Combining Multiple Streams

• Handling State in Stream-Stream می پیوندد Handling State in Stream-Stream Joins

• خلاصه Summary

اجرای خط لوله جریان در تولید Running Streaming Pipeline in Production

• خط لوله جریان را پارامتر کنید Parameterize Streaming Pipeline

• برنامه ریزی با مشاغل Databricks Scheduling with Databricks Jobs

• مدیریت محیط با استفاده از Databricks CLI Manage Environment Using Databricks CLI

• خلاصه Summary