آموزش Essential SQL: Azure Data Factory and Data Engineering

سرفصل ها و درس ها

معرفی Introduction

• به دوره آموزشی Azure Data Factory من خوش آمدید Welcome to my Azure Data Factory Course

• چه کسی باید Azure Data Factory را بگیرد؟ Who Should Take Azure Data Factory?

• مهم! چه چیزی از دوره انتظار می رود. Important! What to Expect from the Course.

• نحوه شرکت در دوره How to Take the Course

Azure را راه اندازی کنید Set Up Azure

• راه اندازی حساب Azure Setup Azure Account

• لاجوردی چقدر است؟ How Much Is Azure?

• راه اندازی Azure Resource Group Setup Azure Resource Group

• راه اندازی حساب ذخیره سازی Azure Setup Azure Storage Account

• Microsoft Azure Data Factory را ایجاد کنید Create Microsoft Azure Data Factory

• پیوند کارخانه داده به ذخیره سازی را آزمایش کنید Test Data Factory to Storage Link

• راه اندازی پایگاه داده Azure Setup Azure Database

• Azure Data Studio را راه اندازی کنید Set up Azure Data Studio

• پایگاه داده Azure را تست کنید Test Azure Database

• Microsoft DevOps را راه اندازی کنید Setup Microsoft DevOps

مطالعه موردی - استفاده از جریان های نقشه برداری داده ها برای پالایش داده ها Case Study - Using Data Mapping Flows to Refine Data

• معرفی معماری مدالیون و لایه برنز Medallion Architecture and Bronze Layer Introduction

• لایه برنز - پوشه‌های دریاچه داده را برای پشتیبانی از معماری مدالیون تنظیم کنید Bronze Layer - Setup Data Lake Folders to support the Medallion Architecture

• لایه برنز - داده ها را با استفاده از جریان های نقشه برداری داده آماده کنید. Bronze Layer - Prep data using Data Mapping Flows.

• لایه برنز - جریان داده های نقشه برداری را با استفاده از خط لوله ADF اجرا کنید. Bronze Layer - Execute Mapping Data Flow using ADF Pipeline.

• لایه نقره - مقدمه Silver Layer - Introduction

• لایه نقره - جریان نقشه برداری ساختمان قسمت 1 - انواع داده Silver Layer - Building Mapping Flow Part 1 - Data Types

• لایه نقره ای - Building Mapping Flow قسمت 2 - Filter and Deduplication Silver Layer - Building Mapping Flow Part 2 - Filter and Deduplication

• لایه نقره ای - جریان نقشه برداری ساختمان قسمت 3 - تجزیه آدرس ها Silver Layer - Building Mapping Flow Part 3 - Parsing Addresses

• لایه نقره ای - جریان نقشه برداری ساختمان قسمت 4 - تاچ آپ و بررسی نهایی Silver Layer - Building Mapping Flow Part 4 - Touchups and Final Check

• لایه طلا - مقدمه و ابعاد ساختمان Gold Layer - Introduction and Building Dimensions

• لایه طلا - ابعاد ساختمان (ادامه دارد) Gold Layer - Building Dimensions (continued)

• لایه طلا - جدول اطلاعات را با استفاده از جریان های نقشه برداری داده بسازید. Gold Layer - Build the Fact Table using Data Mapping Flows.

• لایه طلا - اتوماسیون خط لوله و عیب یابی جدول حقایق Gold Layer - Pipeline Automation and Fact Table Troubleshooting

• لایه طلا - خط لوله ADF Refactor و سپس نتایج را در PowerBI ببینید Gold Layer - Refactor ADF Pipeline and then See Results in PowerBI

مطالعه موردی - SQL و Azure Data Factory Copy Activity to Refine Data Case Study - SQL and the Azure Data Factory Copy Activity to Refine Data

• معرفی معماری مدالیون و لایه برنز Medallion Architecture and Bronze Layer Introduction

• لایه برنز - با استفاده از ADF Copy Activity Bronze Layer - Using ADF Copy Activity

• لایه نقره - مقدمه Silver Layer - Introduction

• لایه نقره ای - داده ها را در SQL قرار دهید Silver Layer - Land Data into SQL

• لایه نقره ای - ایجاد پرس و جو تقسیم آدرس Silver Layer - Create Address Split Query

• لایه نقره ای - ایجاد فرآیند ذخیره شده تبدیل داده های بارگذاری شده Silver Layer - Create Stored Procedure Transform Loaded Data

• لایه نقره ای - Proc ذخیره شده را از خط لوله کارخانه داده اجرا کنید Silver Layer - Execute Stored Proc from Data Factory Pipeline

• لایه طلا - مقدمه Gold Layer - Introduction

• لایه طلا - ساختمان ابعاد Gold Layer - Dimension Building

• لایه طلا - واقعیت سفارش فروش را بسازید Gold Layer - Build the Sales Order Fact

• لایه طلا - انتقال جدول به طلا (تولید) Gold Layer - Move Table to Gold (Production)

• لایه طلا - طرحواره شروع را در PowerBI مرور کنید Gold Layer - Review Start Schema in PowerBI

مرجع خط لوله و فعالیت های ADF ADF Pipeline and Activities Reference

• Azure Data Factory - مقدمه Azure Data Factory - Introduction

• Azure Data Factory - متغیرها و پارامترها Azure Data Factory - Variables and Parameters

• Azure Data Factory - پارامترها و مقادیر بازگشتی Azure Data Factory - Parameters and Return Values

• Azure Data Factory - If Activity Azure Data Factory - If Activity

• Azure Data Factory - Switch Activity Azure Data Factory - Switch Activity

• Azure Data Factory - برای هر فعالیت Azure Data Factory - For Each Activity

• Azure Data Factory - Meta Data و IF را دریافت کنید Azure Data Factory - Get Meta Data and IF

• Azure Data Factory - Filter Activity Azure Data Factory - Filter Activity

منابع Resources

• پایگاه داده محصولات Product Database

• سخنرانی پاداش Bonus Lecture