آموزش Azure Data Factory - مهندسی داده با پروژه واقعی - آخرین آپدیت

سرفصل ها و درس ها

مقدمه Introduction

• مقدمه‌ای بر تحلیل داده‌ها و مهندسی داده Data Analytics And Data Engineering Introduction

• آشنایی با سرویس‌های تحلیل داده Azure Azure Data Analytical Services Introduction

• مبانی رایانش ابری Azure Azure Cloud Fundamentals Introduction

• حساب رایگان Azure برای دانشجویان Free Azure Account for Students

• حساب رایگان Azure برای همه Free Azure Account for All

مرور پورتال Azure و ایجاد منابع تحلیل داده Azure Portal Overview and Create Data Analytical Resources

• لطفاً تماشا کنید - استفاده از فایل‌های پشتیبان در منابع برای تمرین عملی Please Watch - Using Support Files Under Resources For Hands On

• مرور پورتال Azure و تنظیم Resource Group Azure Portal Overview and Setup Resource Group

• راه‌اندازی Azure Data Factory Setup Azure Data Factory

• راه‌اندازی Azure Data Lake Storage Gen2 Setup Azure Data Lake Storage Gen2

• جمع‌بندی Summary

آشنایی با Azure Data Factory Azure Data Factory Introduction

• مرور محیط Azure Data Factory Studio Azure Data Factory Studio Overview

• مرور کلی خط لوله‌های (Pipeline) Azure Data Factory Azure Data Factory Pipeline Overview

• فعالیت Copy Data - پیکربندی Dataset منبع Copy Data Activity - Configure Source Dataset

• فعالیت Copy Data - پیکربندی Dataset مقصد (Sink) Copy Data Activity - Configure Sink Dataset

• عیب‌یابی خط لوله (Debug Pipeline) Debug Pipeline

• مرور اجزای Data Factory Recap Data Factory Components

• مرور فعالیت Copy Data - بارگذاری داده‌های JSON Recap Copy Data Activity - Load JSON Data

• خلاصه اجزای Azure Data Factory Azure Data Factory Components Summary

خط لوله جذب داده - منبع HTTP Data Ingestion Pipeline - HTTP Source

• نیازمندی‌های خط لوله جذب داده Data Ingestion Pipeline Requirement

• مرور Expression Builder و پارامترهای Dataset Pipeline Expression Builder & Dataset Parameters Overview

• ایجاد و پیکربندی پارامترهای Dataset Creating & Configuring Dataset Parameters

• مرور پارامترهای خط لوله (Pipeline Parameters) Pipeline Parameters Overview

• ایجاد و پیکربندی پارامترهای خط لوله Creating & Configuring Pipeline Parameters

• عیب‌یابی و پاس دادن پویا مقادیر پارامترها Debugging & Dynamically Passing Parameter Values

• مرور پارامترهای Dataset و Pipeline Recap Dataset and Pipeline Parameters

• شناسایی مقادیر استاتیک و دینامیک پارامترها Identify Static and Dynamic Parameter Values

• پیکربندی مقادیر استاتیک پارامترهای خط لوله Configure Static Pipeline Parameter Values

• عبارات دینامیک خط لوله با استفاده از پارامترها و توابع ADF Dynamic Pipeline Expressions Using Pipeline Parameters & ADF Functions

• مرور فرمت DATETIME در Data Factory و مدیریت خطا در خط لوله جذب Data factory DATETIME format overview & Error Handling in Ingestion Pipeline

• فرمت‌بندی مقادیر DATETIME با استفاده از عبارات پیشرفته و توابع تاریخ Formatting DATETIME Values Using Advanced Expressions and Date Functions

• پیکربندی متغیرهای خط لوله و فعالیت SET VARIABLE Configuring Pipeline Variables and SET VARIABLE Activity

• مرور تریگرهای (Triggers) ADF ADF Triggers Overview

• ایجاد و پیکربندی Tumbling Window Trigger Create & Configure Tumbling Window Trigger

• پاس دادن متغیرهای سیستمی Tumbling Window Trigger به پارامترهای خط لوله Passing Tumbling Window Trigger System Variables To Pipeline Parameters

• مانیتورینگ اجرای خودکار خط لوله از طریق Tumbling Window Trigger Monitor Automated Pipeline Runs Via Tumbling Window Trigger

خط لوله جذب داده مبتنی بر متادیتا - منبع HTTP Metadata Driven Data Ingestion Pipeline - HTTP Source

• مرور کلی خط لوله جذب داده مبتنی بر متادیتا Metadata Driven Ingestion Pipeline Overview

• نیازمندی‌های خط لوله جذب داده مبتنی بر متادیتا Metadata Driven Ingestion Pipeline Requirement

• ایجاد فایل متادیتا Create Metadata File

• آپلود فایل متادیتا و مرور فعالیت LOOKUP Upload Metadata File and LOOKUP Activity Overview

• پیکربندی فعالیت LOOKUP - خواندن فایل متادیتا Configure LOOKUP Activity - Read Metadata File

• پیکربندی تنظیمات LOOKUP و خواندن مقادیر فایل متادیتا به صورت آرایه Configure LOOKUP Activity Settings & Read Metadata File Values as Array

• پیکربندی فعالیت FOR EACH برای پیمایش در آرایه خروجی LOOKUP Configure FOR EACH Activity to Loop Through LOOKUP Output Value Array

• پیکربندی فعالیت FOREACH برای پاس دادن مقادیر متادیتا به پارامترهای Dataset Configure FOREACH Activity To Pass Metadata Values to Dataset Parameters

• عیب‌یابی خط لوله جذب مبتنی بر متادیتا و مدیریت خطا Debugging Metadata Driven Ingestion Pipeline & Error Handling

• سازماندهی ساختار پوشه‌ها در ADF Organising Folder Structure in ADF

• خط لوله جذب متادیتا (پروژه کامل) - ایجاد فایل متادیتا End To End Metadata Driven Ingestion Pipeline - Create Metadata File

• خط لوله جذب متادیتا (پروژه کامل) - ایجاد Datasetها End To End Metadata Driven Ingestion Pipeline - Create Datasets

• خط لوله جذب متادیتا (پروژه کامل) - ایجاد خط لوله بخش اول End To End Metadata Driven Ingestion Pipeline - Create Pipeline Part 1

• خط لوله جذب متادیتا (پروژه کامل) - ایجاد خط لوله بخش دوم End To End Metadata Driven Ingestion Pipeline - Create Pipeline Part 2

• خط لوله جذب متادیتا (پروژه کامل) - عیب‌یابی و مدیریت خطا End To End Metadata Driven Ingestion Pipeline - Debugging And Error Handling

• خط لوله جذب متادیتا (پروژه کامل) - ایجاد Tumbling Window Trigger End To End Metadata Driven Ingestion Pipeline - Create Tumbling Window Trigger

• جذب داده‌ها از HTTP Web Server - جمع‌بندی Data Ingestion From HTTP Web Server - Summary

طراحی پایگاه داده گزارشات - مدل‌سازی ابعادی داده‌ها (Star Schema) Reporting Database Design - Dimensional Data Modelling ( Star Schema)

• مرور کلی مدل‌سازی ابعادی داده‌ها Dimensional Data Modelling Overview

• مدل‌سازی ابعادی - مرور داده‌های منبع Dimensional Data Modelling - Source Data Overview

• شناسایی ستون‌های توصیفی کسب‌وکار (Dimension) و معیارهای کسب‌وکار (Fact) Identify Business Description(Dimension) and Business Measures(Fact) Columns

• شناسایی گروه‌های ستونی Dimension با رابطه یک‌به‌یک Identify Business Description(Dimension) Column Groups Having 1-1 Relationship

• مدل‌سازی منطقی داده‌ها - طراحی جداول Dimension Logical Data Modelling - Designing Dimension Tables

• مدل‌سازی منطقی داده‌ها - طراحی جداول Fact Logical Data Modelling - Designing Fact Tables

• مرور مدل‌سازی فیزیکی داده‌ها Physical Data Modelling Overview

• مدل‌سازی فیزیکی - شناسایی انواع داده‌ها (Data Types) Physical Data Modelling - Identifying Data Types

• مدل‌سازی فیزیکی - اعمال قراردادهای نام‌گذاری Physical Data Modelling - Applying Naming Conventions

• مدل‌سازی فیزیکی - افزودن ستون‌های Audit و تعریف Schema پایگاه داده Physical Data Modelling - Including Audit Columns and Define Database Schema

• راه‌اندازی AZURE SQL DATABASE - مرور کلی Setup AZURE SQL DATABASE - Overview

• مرور ویرایشگر کوئری Azure SQL Database Azure SQL Database Query Editor Overview

• مرور SQL Server Management Studio (SSMS) SQL Server Management Studio Overview

بارگذاری جداول Dimension - مرور ADF DATAFLOW Dimension Tables Load - ADF DATAFLOW Overview

• مرور کلی بارگذاری جدول Dimension Dimension Table Load Overview

• بارگذاری جدول Dimension - مرور تبدیل‌های داده Dimension Table Load - Data Transformations Overview

• بارگذاری جدول Dimension - پیکربندی Dataset منبع Dimension Table Load - Configure Source Dataset

• بارگذاری جدول Dimension - پیکربندی Linked Services پایگاه داده SQL و Dataset مقصد Dimension Table Load - Configure SQL Database Linked Services and Sink Dataset

• بارگذاری جدول Dimension - محدودیت‌های COPYDATA و نیاز به استفاده از DATAFLOW Dimension Table Load - COPYDATA Limitations and Usage Requirement for DATAFLOW

• بارگذاری جدول Dimension - مرور DATAFLOW Dimension Table Load - DATAFLOW Overview

• بارگذاری جدول Dimension - تبدیل SELECT در DATAFLOW Dimension Table Load - DATAFLOW SELECT Transformation

• بارگذاری جدول Dimension - تبدیل AGGREGATE در DATAFLOW Dimension Table Load - DATAFLOW AGGREGATE Transformation

• بارگذاری جدول Dimension - مرور EXPRESSION BUILDER در DATAFLOW Dimension Table Load - DATAFLOW EXPRESSION BUILDER Overview

• بارگذاری جدول Dimension - تبدیل SURROGATE KEY در DATAFLOW Dimension Table Load - DATAFLOW SURROGATE KEY Transformation

• بارگذاری جدول Dimension - تبدیل DERIVED COLUMN و SINK در DATAFLOW Dimension Table Load - DATAFLOW DERIVED COLUMN and SINK Transformation

• بارگذاری جدول Dimension - مرور تبدیل‌های DATAFLOW و عیب‌یابی Dimension Table Load - Recap DATAFLOW Transformations & Debugging DATAFLOW

• بارگذاری جدول Dimension - مرور Change Data Capture (CDC) Dimension Table Load - Change Data Capture (CDC) Overview

• بارگذاری جدول Dimension - افزودن داده‌های Sink به جریان منبع در CDC Dimension Table Load - Change Data Capture Add Sink Data Into Source Stream

• بارگذاری جدول Dimension - تبدیل LOOKUP در CDC Dimension Table Load - Change Data Capture LOOKUP Transformation

• بارگذاری جدول Dimension - تبدیل FILTER در CDC Dimension Table Load - Change Data Capture FILTER Transformation

• بارگذاری جدول Dimension - محدودیت SURROGATE KEY در CDC Dimension Table Load - Change Data Capture SURROGATE KEY Limitation

• بارگذاری جدول Dimension - دریافت Max SURROGATE KEY با استفاده از کوئری در CDC Dimension Table Load - Change Data Capture Get Max SURROGATE KEY Using Query

• بارگذاری جدول Dimension - ادغام Max SK با منبع با استفاده از تبدیل JOINER Dimension Table Load - Merge Max SK with Source Using JOINER Transformation

• بارگذاری جدول Dimension - شرط Join سفارشی در تبدیل JOINER برای Max SK Dimension Table Load - Merge Max SK JOINER Transformation Custom Join Condition

طراحی DATAFLOW قابل استفاده مجدد برای بارگذاری جداول Dimension Reusable DATAFLOW Design For Loading Dimension Tables

• طراحی DATAFLOW قابل استفاده مجدد - ایجاد Datasetهای منبع و مقصد Reusable DATAFLOW Design - Create Source and Sink Datasets

• طراحی DATAFLOW قابل استفاده مجدد - پیکربندی تبدیل منبع Reusable DATAFLOW Design - Configure Source Transformation

• طراحی DATAFLOW قابل استفاده مجدد - تولید کوئری SQL دینامیک با استفاده از پارامتر Dataflow Reusable DATAFLOW Design - Generate Dynamic SQL Query Using Dataflow Parameter

• طراحی DATAFLOW قابل استفاده مجدد - Import Projection برای کوئری SQL دینامیک Reusable DATAFLOW Design - Dynamic SQL Query Import Projection

• طراحی DATAFLOW قابل استفاده مجدد - کوئری SQL دینامیک برای مقدار Max Surrogate Key Reusable DATAFLOW Design - Dynamic SQL Query For Max Surrogate Key Value

• طراحی DATAFLOW قابل استفاده مجدد - پیکربندی SELECT ، AGGREGATOR و LOOKUP Reusable DATAFLOW Design - Configure SELECT , AGGREGATOR and LOOKUP

• طراحی DATAFLOW قابل استفاده مجدد - پیکربندی FILTER ، JOINER و DERIVED COLUMN Reusable DATAFLOW Design - Configure FILTER , JOINER and DERIVED COLUMN

• طراحی DATAFLOW قابل استفاده مجدد - پیکربندی SINK و خط لوله برای اجرای خودکار Reusable DATAFLOW Design - Configure SINK & Pipeline To Automate Run

• طراحی DATAFLOW قابل استفاده مجدد - عیب‌یابی Reusable DATAFLOW Design - Debugging

• طراحی DATAFLOW قابل استفاده مجدد - تولید اسکریپت‌های SQL برای ایجاد جداول Dimension و Fact Reusable DATAFLOW Design -Produce Dimension and Fact Tables CREATE SQL Scripts

• طراحی DATAFLOW قابل استفاده مجدد - استفاده مجدد برای پر کردن جدول DIM_MARKET Reusable DATAFLOW Design - Reusing to Populate DIM_MARKET Dimension Table

• طراحی DATAFLOW قابل استفاده مجدد - استفاده مجدد برای پر کردن جدول DIM_PRODUCT Reusable DATAFLOW Design - Reusing to Populate DIM_PRODUCT Dimension Table

• طراحی DATAFLOW قابل استفاده مجدد - استفاده مجدد برای پر کردن جدول DIM_VARIETY Reusable DATAFLOW Design - Reusing to Populate DIM_VARIETY Dimension Table

• طراحی DATAFLOW قابل استفاده مجدد - عیب‌یابی اجرای بارگذاری تمام جداول Dimension Reusable DATAFLOW Design - Debugging Run Of Loading All Dimension Tables

بارگذاری افزایشی (پردازش رکوردهای Delta) - بارگذاری جداول Dimension Incremental Load ( Delta Records Processing ) - Dimension Tables Load

• مرور کلی بارگذاری افزایشی (Incremental Load) Incremental Load Overview

• بارگذاری افزایشی - مرور فعالیت GET METADATA Incremental Load - GET METADATA Activity Overview

• بارگذاری افزایشی - فیلتر متادیتا بین دو تاریخ در فعالیت GET METADATA Incremental Load - GET METADATA Activity Filter Metadata Between Dates

• بارگذاری افزایشی - مرور فعالیت IF CONDITION Incremental Load - IF CONDITION Activity Overview

• بارگذاری افزایشی - استفاده از IF CONDITION برای مدیریت استثنائات (Exception Handling) Incremental Load - IF CONDITION Activity For EXCEPTION Handling

• بارگذاری افزایشی - محدودیت‌های خط لوله تک‌گانه ADF و راهکار جایگزین (Multi Pipeline) Incremental Load - ADF Single Pipeline Limitations & Workaround(Multi Pipeline)

• بارگذاری افزایشی - فراخوانی و پاس دادن مقادیر بین پارامترها Incremental Load - Calling and Passing Values Between Parameters

• بارگذاری افزایشی - طراحی خط لوله Master برای بارگذاری جداول گزارشات Incremental Load - Designing Reporting Tables Load Master Pipeline

• بارگذاری افزایشی - فراخوانی بارگذاری Dimension گزارشات از خط لوله Master Incremental Load - Calling Reporting Dimension Load From Master Pipeline

• بارگذاری افزایشی - استفاده از خروجی GET METADATA خط لوله Master در خط لوله Child Incremental Load - Using Master Pipeline GET METADATA output in Child Pipeline

• بارگذاری افزایشی - عیب‌یابی بارگذاری جداول Dimension بخش اول Incremental Load - Debugging Dimension Tables Load Part 1

• بارگذاری افزایشی - عیب‌یابی بارگذاری جداول Dimension بخش دوم Incremental Load - Debugging Dimension Tables Load Part 2

• بارگذاری افزایشی - پیکربندی Tumbling Window Trigger Incremental Load - Configure Tumbling Window Trigger

• بارگذاری افزایشی - تست اجرای Tumbling Window Trigger Incremental Load - Test Tumbling Window Trigger Run

• بارگذاری افزایشی - رفع خطای کیفیت داده در بارگذاری جدول DIM_VARIETY Incremental Load - Fixing Data Quality Error on DIM_VARIETY Table Load

• بارگذاری جدول DIM_DATE با استفاده از INSERT STATEMENTS Loading DIM_DATE Dimension Table - Using INSERT STATEMENTS

• خط لوله جذب داده - بارگذاری کامل منبع HTTP با استفاده از Tumbling Window Trigger Data Ingestion Pipeline - HTTP Source Full Load Using Tumbling Window Trigger

طراحی DATAFLOW برای بارگذاری جدول Fact Fact Table Load DATAFLOW Design

• مرور کلی تبدیل‌های بارگذاری جدول Fact Fact Table Load Transformation Overview

• بارگذاری جدول Fact در DATAFLOW - پیکربندی فایل منبع Fact Table Load DATAFLOW - Configure Source File

• بارگذاری جدول Fact در DATAFLOW - پیکربندی منبع جدول Dimension و LOOKUP برای SurrogateID Fact Table Load DATAFLOW - Configure Dimension Table Source & LOOKUP SurrogateID

• بارگذاری جدول Fact در DATAFLOW - پیکربندی تمام جداول Dimension و LOOKUP برای SurrogateIDها Fact Table Load DATAFLOW - Configure All Dimension Tables & LOOKUP SurrogateIDs

• بارگذاری جدول Fact در DATAFLOW - پیکربندی جدول Dimension تاریخ و LOOKUP برای SurrogateID Fact Table Load DATAFLOW - Configure DATE Dimension Table & LOOKUP SurrogateID

• بارگذاری جدول Fact در DATAFLOW - عیب‌یابی و رفع مشکلات داده‌ها Fact Table Load DATAFLOW Debugging and Fixing Data Issues

• بارگذاری جدول Fact در DATAFLOW - پیکربندی تبدیل SINK Fact Table Load DATAFLOW - Configure SINK Transformation

• بارگذاری جدول Fact در DATAFLOW - تست بخش اول Fact Table Load DATAFLOW Testing Part 1

• بارگذاری جدول Fact در DATAFLOW - افزودن Tumbling Window Trigger Fact Table Load DATAFLOW - Add Tumbling Window Trigger

• بارگذاری جدول Fact در DATAFLOW - تست کامل بارگذاری پایگاه داده گزارشات Fact Table Load DATAFLOW - Testing End to End Reporting Database Load

طراحی Data Lake - معماری مدالیون (Medallion Architecture) Data Lake Design - Medallion Architecture

• مرور کلی طراحی Data Lake Data Lake Design Overview

• طراحی Data Lake - تنظیم ساختار Container و پوشه‌ها Data Lake Design - Setup Container and Folder Structure

• طراحی Data Lake - نیازمندی‌های اضافی داده‌های منبع Data Lake Design - Additional Source Data Requirements

• طراحی Data Lake - مرور فرمت‌های اضافی داده‌های منبع Data Lake Design - Additional Source Data Format Overview

جذب داده‌ها در لایه برنزی Data Lake - داده‌های دموگرافیک REST API Data Lake Bronze Layer Data Ingestion - Demographics Data REST API

• مرور کلی جذب داده‌های دموگرافیک Demographics Data Ingestion Overview

• مرور تفاوت HTTP Request و REST API REQUEST RESPONSE HTTP Request Vs REST API REQUEST RESPONSE Overview

• جذب داده‌های دموگرافیک - پیکربندی Linked Service Demographics Data Ingestion - Configure Linked Service

• جذب داده‌های دموگرافیک - پیکربندی Datasetهای منبع و مقصد Demographics Data Ingestion - Configure Source and Sink Datasets

• جذب داده‌های دموگرافیک - ایجاد خط لوله جذب Demographics Data Ingestion - Create Ingestion Pipeline

• جذب داده‌های دموگرافیک - پیکربندی پارامترهای خط لوله Demographics Data Ingestion - Configure Pipeline Parameters

• جذب داده‌های دموگرافیک - ایجاد و آپلود فایل متادیتا Demographics Data Ingestion - Create and Upload Metadata File

• جذب داده‌های دموگرافیک - پیکربندی فعالیت‌های LOOKUP و FOREACH Demographics Data Ingestion - Configure LOOKUP and FOREACH Activity

• جذب داده‌های دموگرافیک - پاس دادن مقادیر پارامتر Dataset از فایل متادیتا Demographics Data Ingestion - Pass Dataset Parameter Values From Metadata File

• جذب داده‌های دموگرافیک - شناسایی و رفع خطاها Demographics Data Ingestion - Identifying and Fixing The Errors

• جذب داده‌های دموگرافیک - شناسایی و رفع خطاهای کاربر Demographics Data Ingestion - Identifying and Fixing User Errors

جذب داده‌ها در لایه برنزی Data Lake - داده‌های آب و هوا REST API Data Lake Bronze Layer Data Ingestion - Weather Data REST API

• مرور کلی جذب داده‌های آب و هوا Weather Data Ingestion Overview

• جذب داده‌های آب و هوا - ایجاد فایل متادیتای دینامیک و پیکربندی منبع Weather Data Ingestion - Dynamic Metadata File Creation Configure Source

• جذب داده‌های آب و هوا - ایجاد فایل متادیتای دینامیک و پیکربندی Schema منبع Weather Data Ingestion - Dynamic Metadata File Creation Configure Source Schema

• جذب داده‌های آب و هوا - ایجاد فایل متادیتای دینامیک و FLATTEN کردن JSON پیچیده Weather Data Ingestion - Dynamic Metadata File Creation FLATTEN Complex JSON

• جذب داده‌های آب و هوا - تنظیم پارامترهای اضافی فایل متادیتای دینامیک و SINK Weather Data Ingestion - Dynamic Metadata File Config Additional Params and SINK

• جذب داده‌های آب و هوا - ایجاد فایل متادیتای دینامیک و Partitioning در DATAFLOW Weather Data Ingestion - Dynamic Metadata File Creation & DATAFLOW Partitioning

• جذب داده‌های آب و هوا - پیکربندی Datasetهای منبع و مقصد Weather Data Ingestion - Configure Source and Sink Datasets

• جذب داده‌های آب و هوا - پیکربندی فعالیت‌های LOOKUP و FOREACH Weather Data Ingestion - Configure LOOKUP and FOREACH Activity

• جذب داده‌های آب و هوا - پیکربندی پارامترها و متغیرهای خط لوله Weather_Data_Ingestion-Configure_Pipeline_Parameters_and_Variables

• جذب داده‌های آب و هوا - پاس دادن مقادیر پارامتر Dataset با استفاده از عبارت خط لوله Weather Data Ingestion - Pass Dataset Parameter Values Using Pipeline Expression

• جذب داده‌های آب و هوا - پیکربندی ایجاد زیرپوشه دینامیک در ذخیره‌ساز Sink Weather Data Ingestion - Configure Dynamic Subfolder Creation in Sink Storage

• جذب داده‌های آب و هوا - عیب‌یابی خط لوله و خطای شناخته شده در نام فعالیت Weather Data Ingestion - Pipeline Debugging and Known Error on Activity Name

• جذب داده‌های آب و هوا - ستون منبع اضافی در COPYDATA و تنظیم تریگر Weather Data Ingestion - Additional Source Column on COPYDATA and Setup Trigger

تبدیل داده‌ها در لایه نقره‌ای Data Lake - داده‌های دموگرافیک Data Lake Silver Layer Data Transformation - Demographics Data

• تبدیل داده‌های دموگرافیک - پیکربندی Datasetهای منبع و مقصد Demographics Data Transformation - Configure Source and Sink Datasets

• تبدیل داده‌های دموگرافیک - پیکربندی Wildcard Paths در منبع DATAFLOW Demographics Data Transformation DATAFLOW Source Wildcard Paths Configuration

• تبدیل داده‌های دموگرافیک - FLATTEN کردن ساختار JSON پیچیده در DATAFLOW Demographics Data Transformation DATAFLOW - FLATTEN Complex JSON Structure

• تبدیل داده‌های دموگرافیک - قراردادهای نام‌گذاری و پیکربندی SINK در DATAFLOW Demographics Data Transformation DATAFLOW - Naming Conventions & Configure SINK

• تبدیل داده‌های دموگرافیک - پیکربندی خط لوله و پاس دادن پارامترها در DATAFLOW Demographics Data Transformation DATAFLOW - Configure Pipeline & Pass Parameters

• تبدیل داده‌های دموگرافیک - عیب‌یابی و تست خط لوله DATAFLOW Demographics Data Transformation DATAFLOW Pipeline Debugging And Testing

تبدیل داده‌ها در لایه نقره‌ای Data Lake - داده‌های آب و هوا Data Lake Silver Layer Data Transformation - Weather Data

• تبدیل داده‌های آب و هوا - پیکربندی Datasetهای منبع و مقصد و DATAFLOW Weather Data Transformation - Configure Source and Sink Datasets & DATAFLOW

• تبدیل داده‌های آب و هوا - FLATTEN کردن مقادیر آرایه JSON تودرتو سطح اول Weather Data Transformation - FLATTEN Nested JSON ARRAY Values Level1

• تبدیل داده‌های آب و هوا - FLATTEN کردن مقادیر آرایه JSON تودرتو سطح دوم Weather Data Transformation - FLATTEN Nested JSON ARRAY Values Level2

• تبدیل داده‌های آب و هوا - حذف تکراری‌ها و ایجاد خط لوله تبدیل Weather Data Transformation - Remove Duplicates and Create Transform Pipeline

• تبدیل داده‌های آب و هوا - حذف ستون‌های منبع ناخواسته و تنظیم پارامترها Weather Data Transformation - Removing Unwanted Source Columns & Set Parameters

• تبدیل داده‌های آب و هوا - پاس دادن دینامیک پارامتر DATAFLOW از خط لوله Weather Data Transformation - Dynamic DATAFLOW Parameter Passing From Pipeline

• تبدیل داده‌های آب و هوا - شناسایی و رفع خطاهای کاربر Weather Data Transformation - Identifying and Fixing User Errors

تبدیل لایه طلایی Data Lake - آماده‌سازی داده‌ها برای الگوریتم‌های پیش‌بینی Data Lake Gold Layer Transformation - Get Data Ready for Prediction Algorithms

• مرور کلی تبدیل داده‌های لایه طلایی (Gold Layer) Gold Layer Data Transformation Overview

• تبدیل داده‌های لایه طلایی - پیکربندی Datasetهای منبع Gold Layer Data Transformation - Configure Source Datasets

• تبدیل داده‌های لایه طلایی - آماده‌سازی نام ستون‌های مشترک در منابع در DATAFLOW Gold Layer Data Transformation DATAFLOW - Prepare Common Column Name on Sources

• تبدیل داده‌های لایه طلایی - ترکیب منابع با استفاده از JOINER در DATAFLOW Gold Layer Data Transformation DATAFLOW - Combine Sources Using JOINER

• تبدیل داده‌های لایه طلایی - عیب‌یابی خط لوله در DATAFLOW Gold Layer Data Transformation DATAFLOW - Pipeline Debuging

• تبدیل داده‌های لایه طلایی - COPYDATA به Azure SQL Database Gold Layer Data Transformation - COPYDATA Into Azure SQL Database

• تبدیل داده‌های لایه طلایی - مدیریت خطای COPYDATA در Azure SQL Database Gold Layer Data Transformation - COPYDATA Into Azure SQL Database Error Handling

• ساخت لایه‌های DataLake - جمع‌بندی نهایی DataLake Layers Building - End To End Summary