آموزش مهندسی داده با Delta Lake در پلتفرم Databricks - آخرین آپدیت

مبانی DLT DLT Fundamentals

• معرفی دوره Course Introduction

• مقدمه Introduction

• آشنایی با Delta Live Tables Introduction to Delta Live Tables

• نحو DLT با استفاده از Python و SQL DLT Syntax with Python and SQL

• ساخت اولین خط لوله DLT شما Creating Your First DLT Pipeline

• خلاصه Summary

• آشنایی با انتظارات کیفیت داده (Data Quality Expectations) Introduction to Data Quality Expectations

• درک مفهوم انتظارات در DLT Understanding DLT Expectations

• پیاده‌سازی انتظارات در خط لوله‌ها Implementing Expectations in Pipelines

• خلاصه: اعمال انتظارات بر روی داده‌ها Summary: Applying Expectations to Data

• آشنایی با پردازش داده‌های افزایشی (Incremental) Introduction to Incremental Data Processing

• ایجاد جداول جریانی (Streaming Tables) Creating Streaming Tables

• کار با جداول جریانی Working with Streaming Tables

• طرحواره‌های خودکار و چالش‌های استریمینگ Automatic Schemas and Streaming Challenges

• خلاصه: پردازش افزایشی و استریمینگ Summary: Incremental Processing and Streaming

معماری Medallion Medallion Architecture

• آشنایی با لایه Bronze Introduction to the Bronze Layer

• آشنایی با معماری Medallion Introduction to Medallion Architecture

• الگوهای طراحی لایه Bronze Bronze Layer Design Patterns

• دریافت داده‌ها در جداول Delta خام Ingesting Data to Raw Delta Tables

• خلاصه: نرمال‌سازی و پاکسازی داده‌ها Summary: Normalizing and Cleaning Data

• آشنایی با لایه Silver Introduction to the Silver Layer

• تحلیل اکتشافی روی داده‌های خام Exploratory Analysis on Raw Data

• استراتژی‌های کیفیت و پاکسازی داده‌ها Data Quality and Cleaning Strategies

• بازبینی نتایج لایه Silver Reviewing Silver Layer Results

• خلاصه: نرمال‌سازی و پاکسازی داده‌ها Summary: Normalizing and Cleaning Data

• آشنایی با لایه Gold Introduction to the Gold Layer

• اعمال منطق تجاری بر روی داده‌های پاکسازی شده Applying Business Logic to Clean Data

• استراتژی‌های افزایشی و بازمحاسبه در خط لوله‌ها Incremental and Recompute Strategies in Pipelines

• بهینه‌سازی برای جداول Gold Optimizations for Gold Tables

• خلاصه: منطق تجاری و خروجی‌های لایه Gold Summary: Business Logic and Gold Layer Outputs

پروژه نهایی Capstone Project

• آشنایی با اپلیکیشن لجستیک Introduction to the Logistics Application

• مرور مدیریت موجودی (Inventory Orchestration) Overview of Inventory Orchestration

• معماری Medallion در دنیای واقعی Real-World Medallion Architecture

• مرور کلی خط لوله مدیریت موجودی Inventory Management Pipeline Overview

• خلاصه: بازبینی کامل اپلیکیشن از ابتدا تا انتها Summary: End-to-End Application Review

• آشنایی با چالش‌ها و گام‌های بعدی Introduction to Challenges and Next Steps

• چالش‌ها و مسیر آینده در مهندسی داده Challenges and Next Steps in Data Engineering

• خلاصه دوره: مهندسی داده با Databricks Course Summary: Data Engineering with Databricks