آموزش رسیدگی به داده های جریان با پایگاه داده لاجورد با استفاده از جریان ساختار یافته Spark

سرفصل ها و درس ها

بررسی اجمالی دوره Course Overview

• بررسی اجمالی دوره Course Overview

تنظیم محیط زیست Setting up the Environment

• طرح و پیش نیازهای دوره Course Outline and Prerequisites

• recap سریع: جریان ساختار یافته جرقه Quick Recap: Spark Structured Streaming

• سناریو پیاده روی Scenario Walkthrough

• پیکربندی مراکز رویداد لاجورد به عنوان منبع Configuring Azure Event Hubs as Source

• برنامه Setup Sample برای ارسال رویدادهای تاکسی NYC Setup Sample App to Send NYC Taxi Events

• خلاصه Summary

ساخت خط لوله جریان Building Streaming Pipeline

• استخراج و پردازش داده های منبع Extracting and Processing Source Data

• اعمال تحولات Applying Transformations

• بارگیری به پرونده ها Loading to Files

• درک ضمانت نامه بازرسی و تحویل Understanding Checkpointing and Delivery Guarantees

• بارگیری به مرکز رویداد لاجورد Loading to Azure Event Hub

• بارگیری به پایگاه داده Azure SQL Loading to Azure SQL Database

• خلاصه Summary

کار با Timestamps و ویندوز Working with Timestamps and Windows

• رویدادها ، مصرف و پردازش زمان بندی Event, Ingestion, and Processing Timestamps

• ویندوز در حال درک Understanding Windows

• کار با ویندوز Working With Windows

• خلاصه Summary

مدیریت عملیات های دولتی Handling Stateful Operations

• درک مدیریت دولت Understanding State Management

• رسیدگی به داده های دیر هنگام با استفاده از علامت گذاری Handling Late Data Using Watermarking

• داده های پخش شده Deduplicating Streaming Data

• خلاصه Summary

کار با چندین جریان و مجموعه داده Working with Multiple Streams and Datasets

• پیوستن به جریان با داده های استاتیک Joining Stream with Static Data

• ترکیب چندین جریان Combining Multiple Streams

• رسیدگی به حالت در جریان جریان جریان Handling State in Stream-Stream Joins

• خلاصه Summary

اجرای خط لوله جریان در تولید Running Streaming Pipeline in Production

• پارامتر کردن خط لوله جریان Parameterize Streaming Pipeline

• برنامه ریزی با مشاغل Databricks Scheduling with Databricks Jobs

• محیط را با استفاده از Databricks CLI مدیریت کنید Manage Environment Using Databricks CLI

• خلاصه Summary