آموزش دریاچه دلتا با Azure Databricks: Deep Dive

سرفصل ها و درس ها

بررسی اجمالی دوره Course Overview

• بررسی اجمالی دوره Course Overview

شروع کار با دریاچه دلتا Getting Started with Delta Lake

• معرفی دوره Course Introduction

• نیاز به دریاچه دلتا Need for Delta Lake

• دریاچه دلتا چگونه کار می کند؟ How Does Delta Lake Work?

• ضمانت اسید در دریاچه دلتا ACID Guarantees on Delta Lake

• آشنایی با اکوسیستم دلتا Understanding Delta Ecosystem

• راه اندازی Azure Databricks Environment Setting up Azure Databricks Environment

• خلاصه Summary

کار با Delta Lake Storage Working with Delta Lake Storage

• نمای کلی ماژول Module Overview

• ذخیره سازی داده ها در قالب دلتا Storing Data in Delta Format

• ایجاد جدول دلتا Creating Delta Table

• درج داده ها به جدول دلتا Inserting Data to Delta Table

• انجام عملیات DML: به روز رسانی/حذف/ادغام Performing DML Operations: Update / Delete / Merge

• اجرای طرحواره و تکامل Schema Enforcement and Evolution

• اعمال محدودیت های جدول Applying Table Constraints

• دسترسی به داده ها با سفر در زمان Accessing Data with Time Travel

• خلاصه Summary

مدیریت داده های جریان در دریاچه دلتا Handling Streaming Data on Delta Lake

• نمای کلی ماژول Module Overview

• درک جریان در دریاچه دلتا Understanding Streaming on Delta Lake

• راه اندازی محیط جریان Setting up Streaming Environment

• ساخت خط لوله جریان با دریاچه دلتا Building Streaming Pipeline with Delta Lake

• به روز رسانی جدول دلتا با داده های جریانی Updating Delta Table with Streaming Data

• بازرسی گزارش تراکنش Transaction Log Checkpointing

• مدیریت همزمانی Handling Concurrency

• نسخه ی نمایشی: مدیریت همزمانی Demo: Handling Concurrency

• خلاصه Summary

بهینه سازی با موتور دلتا در Databricks Optimizing with Delta Engine in Databricks

• نمای کلی ماژول Module Overview

• آشنایی با موتور دلتا Understanding Delta Engine

• بهبود عملکرد با آمار و پرش داده ها Improving Performance with Statistics and Data Skipping

• بهینه سازی جدول دلتا با ترتیب Z Optimizing & Z-ordering Delta Table

• تمیز کردن فایل ها با جاروبرقی Cleaning Files with Vacuum

• فعال کردن بهینه سازی خودکار در جدول دلتا Enabling Auto Optimization on Delta Table

• کار با Photon Execution Engine Working with Photon Execution Engine

• استفاده از دلتا کش Using Delta Cache

• خلاصه Summary

ساخت یک معماری Lakehouse Building a Lakehouse Architecture

• نمای کلی ماژول Module Overview

• آشنایی با معماری لیک هاوس Understanding Lakehouse Architecture

• Inside Lakehouse: Understanding Delta Architecture Inside Lakehouse: Understanding Delta Architecture

• استفاده از Change Data Feed Using Change Data Feed

• معماری دلتا: با فید داده تغییر دسته ای داده Delta Architecture: With Batch Data & Change Data Feed

• خلاصه Summary

ساخت خطوط لوله ETL با جداول زنده دلتا Building ETL Pipelines with Delta Live Tables

• نمای کلی ماژول Module Overview

• آشنایی با جداول زنده دلتا Understanding Delta Live Tables

• ساخت خط لوله ETL ساده با جداول زنده دلتا Building Simple ETL Pipeline with Delta Live Tables

• خط لوله ETL افزایشی مجتمع ساختمانی Building Complex & Incremental ETL Pipeline

• خلاصه Summary

اجرای موارد استفاده مشترک Implementing Common Use Cases

• نمای کلی ماژول Module Overview

• جست و جوی جداول دلتا با تجزیه و تحلیل Azure Synapse Querying Delta Tables with Azure Synapse Analytics

• مصرف جداول دلتا در Power BI Consuming Delta Tables in Power BI

• خلاصه دوره Course Summary