آموزش معماری لیک‌هاوس و دلتا لیک با دیتابریکس (Lakehouse Architecture and Delta Lake with Databricks) - آخرین آپدیت

مبانی معماری مدرن داده Modern Data Architecture Fundamentals

• مقدمه دوره Course Introduction

• گذار از انبار داده به معماری داده لیک‌هاوس Warehouses to Lakehouse Data Architecture

• محدودیت‌های سنتی انبار داده و دیتا لیک Limitations of Traditional Data Warehouses and Data Lakes

• آشنایی با Databricks Introduction to Databricks

• نمایش عملی: بررسی معماری Databricks Demonstration: Exploring Databricks Architecture

• معماری لیک‌هاوس چیست و چرا اهمیت دارد؟ What is Lakehouse Architecture and Why It Matters

• اصول معماری لیک‌هاوس Principles of Lakehouse Architecture

• مقایسه دیتا لیک، انبار داده و لیک‌هاوس Data Lake vs. Data Warehouse vs. Lakehouse

• نمایش عملی: بررسی محیط کار Databricks و اجزای لیک‌هاوس Demonstration: Databricks Workspace and Lakehouse Components Overview

• آشنایی با Delta Lake در Databricks Introduction to Delta Lake on Databricks

• معماری دلتا لیک و اجزای اصلی Delta Lake Architecture and Core Components

• تراکنش‌های ACID در دلتا لیک ACID Transactions in Delta Lake

• نمایش عملی: بررسی اجمالی Apache Spark Demonstration: Apache Spark Overview

• نمایش عملی: ایجاد و پرس‌وجو از اولین جدول دلتا در Databricks Demonstration: Creating and Querying First Delta Table on Databricks

• نمایش عملی: درک لاگ تراکنش دلتا (Delta Transaction Log) Demonstration: Understanding the Delta Transaction Log

مفاهیم و عملیات اصلی دلتا لیک Core Delta Lake Concepts and Operations

• آشنایی با متادیتا در دلتا لیک Introduction to Metadata in Delta Lake

• اعمال طرحواره (Schema Enforcement) در مقابل تکامل طرحواره (Schema Evolution) Schema Enforcement vs. Schema Evolution

• نمایش عملی: بررسی نسخه‌ها و تاریخچه جداول دلتا Demonstration: Inspecting Delta Table Versions and History

• نمایش عملی: اعمال و تکامل طرحواره در جداول دلتا Demonstration: Enforcing and Evolving Schema in Delta Tables

• عملیات داده‌های تراکنشی در دلتا لیک Transactional Data Operations in Delta Lake

• نمایش عملی: ایجاد جداول دلتا به صورت Managed و External Demonstration: Creating Managed and External Delta Tables

• نمایش عملی: انجام عملیات CRUD روی جداول دلتا Demonstration: Performing CRUD Operations on Delta Tables

• نمایش عملی: پیاده‌سازی MERGE برای بارگذاری‌های افزایشی Demonstration: Implementing MERGE for Incremental Loads

• قابلیت Time Travel و دسترسی به نسخه‌های مختلف داده Time Travel and Versioned Data Access

• یکپارچه‌سازی استریمینگ و بچ در دلتا لیک Streaming and Batch Unification in Delta Lake

• نمایش عملی: حسابرسی داده و بازیابی با استفاده از Time Travel Demonstration: Data Auditing and Recovery Using Time Travel

• نمایش عملی: خواندن و نوشتن استریمینگ با دلتا لیک Demonstration: Streaming Reads and Writes with Delta Lake

معماری لیک‌هاوس و بهینه‌سازی عملکرد Lakehouse Architecture and Performance Optimization

• آشنایی با معماری مدالیون در لیک‌هاوس Introduction to Medallion Architecture in the Lakehouse

• اصلاح لایه‌ای داده با استفاده از معماری مدالیون Layered Data Refinement Using Medallion Architecture

• طراحی معماری خط‌لوله (Pipeline) در لیک‌هاوس Lakehouse Pipeline Architecture Design

• نمایش عملی: ساخت خط‌لوله‌های Bronze به Silver با معماری مدالیون Demonstration: Building Bronze to Silver Pipelines using Medallion Architecture

• نمایش عملی: تبدیل داده‌ها به جداول Gold Demonstration: Transforming Data into Gold Tables

• تکنیک‌های Data Skipping، آمار و File Pruning Data Skipping, Statistics, and File Pruning

• بهینه‌سازی عملکرد جداول دلتا Delta Table Performance Optimization

• نمایش عملی: فشرده‌سازی فایل‌ها و بهینه‌سازی ذخیره‌سازی با استفاده از OPTIMIZE Demonstration: File Compaction and Storage Optimization using OPTIMIZE

• بررسی اجمالی Liquid Clustering Liquid Clustering Overview

• نمایش عملی: تایید تأثیر بهینه‌سازی‌های دلتا لیک Demonstration: Validating the impact of Delta Lake optimizations

• قابلیت تعامل دلتا لیک با ابزارهای BI Delta Lake Interoperability with BI Tools

• استفاده از دلتا لیک برای بارهای کاری یادگیری ماشین Using Delta Lake for Machine Learning Workloads

• نمایش عملی: عیب‌یابی مشکل فایل‌های کوچک (Small File Problem) Demonstration: Diagnosing the Small File Problem

دلتا لیک پیشرفته و آمادگی برای محیط عملیاتی Advanced Delta Lake and Production Readiness

• کنترل همزمانی و تراکنش‌های خوش‌بینانه (Optimistic Transactions) Concurrency Control and Optimistic Transactions

• سطوح ایزولاسیون در دلتا لیک Isolation Levels in Delta Lake

• کیفیت داده، محدودیت‌ها (Constraints) و انتظارات Data Quality, Constraints, and Expectations

• نمایش عملی: شبیه‌سازی نوشتن همزمان در دلتا لیک Demonstration: Simulating Concurrent Writes in Delta Lake

• نمایش عملی: اعمال محدودیت‌ها و اعتبارسنجی داده در دلتا لیک Demonstration: Applying Constraints and Validating Data in Delta Lake

• آشنایی با Change Data Capture (CDC) Introduction to Change Data Capture

• نمایش عملی: استفاده از Delta Change Data Feed در دلتا لیک Demonstration: Using Delta Change Data Feed in Delta Lake

• نمایش عملی: ساخت خط‌لوله‌های افزایشی CDC با استفاده از دلتا لیک Demonstration: Building Incremental CDC Pipelines using Delta Lake

• خلاصه‌ی دوره Course Summary