آموزش دیتابریکس: جدول زنده دلتا (DLT) - آخرین آپدیت

سرفصل ها و درس ها

مقدمه Introduction

• مقدمه Introduction

• تنظیمات حساب Azure Azure Account Setup

• تنظیمات فضای کاری (WorkSpace) WorkSpace Setup

• پیمایش رابط کاربری فضای کاری Navigate Workspace UI

• آزمایشگاه: نوت‌بوک چیست؟ Lab : What is Notebook

• آزمایشگاه: ایجاد خوشه‌ها Lab : Create Clusters

• آزمایشگاه: نصب کتابخانه Lab : Install Library

• آزمایشگاه: DBFS Lab : DBFS

• آزمایشگاه: DBUtils Lab : DBUtils

دلتا لیک Delta Lake

• معماری Lakehouse داده چیست؟ What is Data Lakehouse Architecture

• دلتا لیک چیست؟ What Is Delta Lake

• آزمایشگاه: ایجاد جدول دلتا Lab : Create Delta Table

• آزمایشگاه: ورود (Ingestion) دلتا Lab : Delta Ingestion

• آزمایشگاه: به‌روزرسانی / حذف / ادغام Lab : Update / Delete / Merge

• آزمایشگاه: اعتبارسنجی طرح (Schema) Lab : Schema Validation

• آزمایشگاه: ستون‌های تولید شده Lab : Generated Columns

پایتون: جدول‌های زنده دلتا Python : Delta Live Table

• درک جدول‌های زنده دلتا Understanding Delta Live Tables

• ایجاد پایپ‌لاین با پایتون Create-Pipeline-Python

• ایجاد پایپ‌لاین با پایتون – بخش ۲ Create-Pipeline-Python - 2

• تعریف طرح (Schema) در DLT Define Schema into DLT

• چگونگی مدیریت تکامل طرح (Schema Evolution) در DLT How to handle Schema Evolution in DLT

• پایپ‌لاین DLT با استفاده از JSON DLT Pipeline using JSON

• مسطح‌سازی JSON در DLT DLT JSON Flatten

• DLT – پایپ‌لاین جریانی DLT - Streaming Pipeline

• ستون نجات یافته چیست؟ What is rescued Column

• 9-تکامل جریان 9-Streaming_evolution

• نحوه اعمال بررسی‌های کیفیت در DLT How to apply Quality Checks into DLT

• نحوه اعمال چندین بررسی کیفیت How to apply Multiple Quality Checks

• استثنای سهمیه (Quota Exception) در DLT چیست؟ What is Quota Exception in DLT

جدول زنده دلتا: (SQL) Delta Live Table : (SQL)

• آزمایشگاه: ایجاد پایپ‌لاین DLT با استفاده از SQL Lab : Create DLT Pipeline using SQL

• آزمایشگاه: استخراج جداول جدید از کلمه کلیدی LIVE Lab : Derive new tables from LIVE keyword

• آزمایشگاه: ایجاد پایپ‌لاین جریانی با استفاده از SQL Lab : Create Streaming Pipeline using SQL

• آزمایشگاه: استخراج جداول جدید از کلمه کلیدی STREAM Lab : Derive new tables from STREAM keyword

• آزمایشگاه: تکامل طرح (Schema Evolution) Lab : Schema Evolution

• آزمایشگاه: اعمال قوانین بررسی کیفیت Lab : Apply Quality Checks Rules

• تمرین: توسعه جدول‌های زنده دلتا با استفاده از فایل‌های JSON و Parquet Exercise:Develop Delta Live Tables using JSON & Parquet File

مورد استفاده: ساخت Lakehouse خرده‌فروشی با استفاده از DLT Use Case : Build Retail Lakehouse using DLT

• مورد استفاده پروژه Project Use Case

• معماری Lakehouse مدالیون Medallion Lakehouse architecture

• پیکربندی SQL Server Configure SQL Server

• ساخت: لایه ورود (Ingestion) محصول Build : Product Ingestion Layer

• ساخت: لایه ورود (Ingestion) مشتری Build : Customer Ingestion Layer

• ساخت: لایه ورود (Ingestion) سفارش Build : Order Ingestion Layer

• پیکربندی Event Hub و ایجاد تولیدکننده Configure Event Hub & Create Producer

• ساخت: لایه ورود (Ingestion) جریانی Build : Streaming Ingestion Layer

• توسعه لایه برنزی Develop Bronze Layer

• ساخت پایپ‌لاین محصولات نقره‌ای Build Silver Products Pipeline

• ساخت پایپ‌لاین مشتریان نقره‌ای Build Silver Customer Pipeline

• ساخت پایپ‌لاین سفارشات نقره‌ای Build Silver Order Pipeline

• ساخت پایپ‌لاین رویدادهای آنلاین نقره‌ای Build Silver Online Event Pipeline

• ساخت پایپ‌لاین لاگ‌های وب نقره‌ای Build Silver Weblogs Pipeline

• ساخت لایه طلایی Build GOLD layer

• ساخت کوئری‌های KPI Build KPI Queries

• ساخت داشبورد Build Dashboard

DLT: تولیدکننده داده (dbldatagen) DLT : Data Generator (dbldatagen)

• نحوه تولید داده ساختگی برای DLT How to generate mock data for DLT