آموزش تسلط بر Azure Data Factory: پروژه‌های واقعی با ADF - آخرین آپدیت

سرفصل ها و درس ها

مقدمه‌ای بر Azure Data Factory Introduction to Azure Data Factory

• اجزای اصلی Azure Data Factory و کپی داده بین حساب‌های ذخیره‌سازی (Blob) Azure Data Factory Main Components Copy data between Storage Accounts (Blob)

پروژه‌های Blob Storage و تکنیک‌های فیلترینگ Blob Storage Projects & Filtering Techniques

• استخراج داده‌های JSON و Parquet با استفاده از Prefix و Wildcard Filters Extract JSON, Parquet Data Using Prefix & Wildcard Filters

• اتوماسیون کپی پوشه‌ها با پارامترهای Dataset Automate Folder Copy with Dataset Parameters

• کپی پوشه مبتنی بر متادیتا با Lookup و ForEach Metadata-Driven Folder Copy with Lookup & ForEach

پروژه‌های ورود داده مبتنی بر SQL SQL-Based Ingestion Projects

• کپی پویای چندین جدول از SQL DB Dynamically Copy Multiple Tables from SQL DB

• ورود داده‌ها با استفاده از جداول، پرس‌وجوها و رویه‌ها (Procedures) Ingest Data Using Tables, Queries, & Procedures

• بارگذاری افزایشی با استفاده از آخرین مقدار پردازش شده Incremental Load with Last Processing Value

• بهینه‌سازی بارگذاری‌های افزایشی برای چندین جدول Optimizing Incremental Loads for Multiple Tables

پروژه‌های یکپارچه‌سازی PostgreSQL PostgreSQL Integration Projects

• اتوماسیون کپی چندین جدول PostgreSQL با منطق Lookup و ForEach Automating Copy of Multiple PostgreSQL Tables with Lookup & ForEach Logic

یکپارچه‌سازی سیستم‌های داخلی با استفاده از SHIR On-Premise Integration Using SHIR

• نصب SHIR برای SQL داخلی (On-Prem) Install SHIR for On-Prem SQL

• کپی داده‌ها به Dedicated SQL Pool Copy Data to Dedicated SQL Pool

• انتقال فایل‌ها به Data Lake Storage Transfer Files to Data Lake Storage

• کپی داده‌ها از Local SQL Server به Azure SQL Copy Data from Local SQL Server to Azure SQL

یکپارچه‌سازی منابع خارجی (REST API و Snowflake) External Source Integration (REST API & Snowflake)

• کپی داده‌ها از REST API به ADLS Gen2 Copy Data from REST API to ADLS Gen2

• کپی جداول از Snowflake به SQLDB Copy Tables from Snowflake to SQLDB

فعال‌سازی خط لوله‌ها با رویدادها و زمان‌بندی‌ها Triggering Pipelines with Events & Schedules

• تریگرهای رویداد-محور و ویژگی‌های استخراج شده Event-Based Triggers & Captured Properties

• تریگر Tumbling Window و وابستگی‌ها Tumbling Window Trigger & Dependencies

• تریگرهای زمان‌بندی شده روزانه، هفتگی و ماهانه Daily, Weekly & Monthly Schedule Trigger

• فعال‌سازی خط لوله‌ها از طریق پیوست‌های ایمیل Trigger Pipelines from Email Attachments

• اتوماسیون اعلان‌ها به همراه پیوست Automate Notifications with Attachments

• خط لوله‌های ورود داده رویداد-محور Event-Driven Ingestion Pipelines

• وابستگی‌های چندگانه تریگر در دایرکتوری‌های مشترک Multi-Trigger Dependencies in Shared Directories

ورود داده‌های چند منبعی و مبتنی بر اکسل Multi-Source & Excel-Based Ingestion

• کپی داده‌ها از چندین پایگاه داده Copy Data from Multiple Databases

• کپی فایل‌های اکسل با شمای پویا Copy Excel Files with Dynamic Schema

• تجمیع شمای اکسل‌ها در جداول SQL Consolidate Excel Schemas into SQL Tables

بهینه‌سازی عملکرد و قابلیت استفاده مجدد Performance Optimization & Reusability

• بهینه‌سازی همزمانی (Concurrency) خط لوله Optimize Pipeline Concurrency

• چارچوب ورود داده قابل استفاده مجدد Reusable Ingestion Framework

• پاک‌سازی فایل‌های کوچک و قدیمی در ADLS Gen2 Clean Up Small and Old Files in ADLS Gen2

تبدیل داده‌ها با استفاده از Data Flows Data Transformation with Data Flows

• شروع کار با Data Flows Getting Started with Data Flows

• مبانی SQL و توابع Window SQL Basics & Window Functions

• تسلط بر Joinهای SQL و انواع آن‌ها Mastering SQL Joins & Types

• بررسی‌های کیفیت داده (DQ): تکراری‌ها، مقادیر Null و فرمت تاریخ DQ Checks: Duplicates, Nulls, Date Formats

• پیاده‌سازی SCD نوع ۱ Implementing SCD Type 1

• پیاده‌سازی SCD نوع ۲ Implementing SCD Type 2

• پیاده‌سازی SCD نوع ۱ با Sink در ADLS Gen2 SCD Type 1 with ADLS Gen2 Sink

• تبدیلات Pivot و Unpivot Pivot and Unpivot Transformations

یکپارچه‌سازی ADF با Synapse، Databricks و Power Query ADF Integration with Synapse, Databricks & Power Query

• ایجاد جداول خارجی در SQL Pools Creating External Tables in SQL Pools

• زمان‌بندی Notebookهای Databricks از طریق ADF Schedule Databricks Notebooks from ADF

• شناسایی تغییرات داده‌ها (CDC) در ADF Change Data Capture (CDC) in ADF

• تبدیلات Power Query (Joinها) Power Query Transformations (Joins)

ثبت گزارشات حسابرسی و مانیتورینگ خط لوله‌ها Audit Logging & Monitoring Pipelines

• ثبت گزارشات حسابرسی متمرکز با Azure SQL Centralized Audit Logging with Azure SQL

• یکپارچه‌سازی Key Vault و هشدار‌های Logic App Key Vault Integration & Logic App Alerts

• بارگذاری افزایشی با فایل Json واترمارک - روش‌های مدرن و الگوهای افزایشی Incremental Load with Watermark Json file Modern Methods and Incremental Pattern