آموزش ساخت و اجرای خط لوله‌های ETL با Azure Databricks و Azure Data Factory - آخرین آپدیت

سرفصل ها و درس ها

شروع کار با Azure Databricks و Azure Data Factory Getting Started with Azure Databricks and Azure Data Factory

• مقدمه‌ای بر ETL Introduction to ETL

• درک معماری و اجرای Apache Spark Understanding Apache Spark Architecture and Execution

• معرفی Azure Databricks Introducing Azure Databricks

• راه‌اندازی محیط کار Setting up the Environment

• کار با Databricks Unity Catalog Working with Databricks Unity Catalog

• استفاده هم‌زمان از Azure Databricks و Azure Data Factory Using Azure Databricks and Azure Data Factory Together

تبدیل داده‌ها در Azure Databricks Transforming Data in Azure Databricks

• اتصال به Azure Data Lake Storage از طریق Databricks Connecting to Azure Data Lake Storage from Databricks

• درک و ایجاد Apache Spark DataFrames Understanding and Creating Apache Spark DataFrames

• اعمال طرحواره‌ها (Schemas) Applying Schemas

• تحلیل و پاک‌سازی داده‌ها Analyzing and Cleaning Data

• اعمال تبدیلات (Transformations) Applying Transformations

• اجرای کوئری‌های SQL روی DataFrames Running SQL Queries on DataFrames

• مدیریت داده‌های خراب و ناقص Handling Corrupt Data

بارگذاری داده‌ها با Delta Lake در Azure Databricks Loading Data with Delta Lake in Azure Databricks

• درک Delta Lake در Databricks Understanding Delta Lake on Databricks

• نوشتن داده‌ها در Data Lake به صورت فایل Writing to Data Lake as Files

• کار با جداول Delta Working with Delta Tables

• انجام عملیات DML روی جداول Delta Performing DML Operations on Delta Table

بهینه‌سازی عملکرد در Azure Databricks Performance Optimizations in Azure Databricks

• بهینه‌سازی و Z-ordering جداول Delta Optimizing and Z-ordering Delta Tables

• پاک‌سازی فایل‌های جدول Delta با دستور Vacuum Cleaning Delta Table Files with Vacuum

• فعال‌سازی بهینه‌سازی خودکار در جداول Delta Enabling Auto Optimization on Delta Tables

اتوماسیون خط لوله‌های ETL با Databricks Workflows Automating ETL Pipelines with Databricks Workflows

• پارامتری کردن نوت‌بوک‌ها با استفاده از Databricks Widgets Parameterizing Notebooks Using Databricks Widgets

• ایجاد Jobها با Databricks Workflows Creating Jobs with Databricks Workflows

• پیکربندی مقادیر Task و وابستگی‌ها در Databricks Jobs Configuring Task Values and Dependencies in Databricks Jobs

• اتوماسیون Jobهای Databricks با زمان‌بندی و Triggerها Automating Databricks Jobs with Schedules and Triggers

• یکپارچه‌سازی Git با Databricks Integrating Git with Databricks

مدیریت خط لوله‌های ETL با Azure Data Factory Orchestrating ETL Pipelines with Azure Data Factory

• درک اجزای Data Factory Understanding Data Factory Components

• جمع‌آوری داده‌ها با استفاده از اکتیویتی COPY Ingesting Data Using COPY Activity

• فراخوانی Databricks از طریق Data Factory Invoking Databricks from Data Factory

• اتوماسیون خط لوله‌های Data Factory با Triggerها Automating Data Factory Pipelines with Triggers