آموزش دلتا لیک و معماری مدالین برای هوش مصنوعی و یادگیری ماشین - آخرین آپدیت

مبانی دلتا لیک (Delta Lake) Delta Lake Fundamentals

• معرفی تخصص Specialization Introduction

• معرفی دوره Course Introduction

• آشنایی با Delta Lake در Databricks Introduction to Delta Lake on Databricks

• تراکنش‌های ACID در Delta Lake ACID Transactions in Delta Lake

• ایجاد و بررسی جداول دلتا Creating and Exploring Delta Tables

• ردیابی تغییرات با لاگ تراکنش دلتا Tracking Changes with the Delta Transaction Log

• اجبار و تکامل طرح‌واره در Delta Lake Schema Enforcement and Schema Evolution in Delta Lake

• انجام عملیات CRUD روی جداول دلتا Performing CRUD Operations on Delta Tables

• مدیریت درج و به‌روزرسانی با MERGE INTO Managing Inserts and Updates with MERGE INTO

• سفر در زمان و دسترسی به داده‌های نسخه‌بندی شده Time Travel and Versioned Data Access

• استفاده از قابلیت Time Travel برای بازیابی داده‌ها Using Delta Lake Time Travel for Data Recovery

تبدیل داده‌ها با PySpark Data Transformation with Pyspark

• تبدیلات PySpark برای مهندسی داده PySpark Transformations for Data Engineering

• فیلتر کردن، انتخاب و تغییر نام ستون‌ها Filtering, Selecting, and Renaming Columns

• عملیات تجمیع (Aggregation) و GroupBy Aggregations and GroupBy Operations

• پیوند مجموعه‌داده‌ها و مدیریت داده‌های تکراری Joining Datasets and Handling Duplicates

• مدیریت مقادیر Null و اعمال بررسی‌های کیفیت داده Handling Nulls and Applying Data Quality Checks

• تبدیل داده‌های متنی برای کاربردهای هوش مصنوعی Transforming Text Data for AI Applications

• بهینه‌سازی جداول دلتا: OPTIMIZE، VACUUM و Z Order Delta Table Optimization: OPTIMIZE, VACUUM, and Z-Order

• بهینه‌سازی جداول دلتا برای عملکرد کوئری‌ها Optimizing Delta Tables for Query Performance

معماری مدالین برای هوش مصنوعی و یادگیری ماشین Medallion Architecture for AI/ML

• معماری مدالین: پایه و اساس مهندسی داده مدرن Medallion Architecture: The Foundation of Modern Data Engineering

• سه لایه معماری مدالین The Three Layers of the Medallion Architecture

• راه‌اندازی فضای کاری مدالین Setting Up the Medallion Workspace

• وارد کردن داده‌های خام به لایه برنزی (Bronze) Ingesting Raw Data into the Bronze Layer

• ساخت لایه نقره‌ای (Silver): پاک‌سازی و اعتبارسنجی داده‌ها Building the Silver Layer: Cleaning and Validating Data

• ساخت لایه طلایی (Gold): داده‌های تجمیع شده و آماده برای کسب‌وکار Building the Gold Layer: Aggregated and Business-Ready Data

استریمینگ و قابلیت اطمینان خط‌لوله Streaming and Pipeline reliability

• معرفی Structured Streaming با Delta Lake Introduction to Structured Streaming with Delta Lake

• فید تغییرات داده (Change Data Feed) برای پردازش افزایشی Delta Change Data Feed for Incremental Processing

• اعمال کیفیت داده با محدودیت‌های دلتا (Delta Constraints) Enforcing Data Quality with Delta Constraints

• جمع‌بندی دوره Course Summary