آموزش Ultimate Azure Data Factory: Cloud Data Engineering

سرفصل ها و درس ها

بررسی اجمالی Overview

• خوش آمدی Welcome

• چه چیزی یاد خواهید گرفت؟ What you will learn?

• هدف این دوره Goal of this course

• تعهد Commitment

• مواد درسی Course Materials

• اسلایدهای دوره Course Slides

معرفی Introduction

• مقدمه ای بر Azure Data Factory Introduction to Azure Data Factory

• چرا Azure Data Factory؟ Why Azure Data Factory?

• Azure Data Factory چیست؟ What is Azure Data Factory?

• مزایای Azure Data Factory Benefits of Azure Data Factory

• حساب لاجوردی Azure Account

• رابط کاربری پورتال Azure User Interface Azure Portal

• خلاصه ماژول Module Summary

بررسی اجمالی پروژه Project Overview

• بررسی اجمالی پروژه عملی Hands-On Project Overview

• مورد تجاری برای پروژه Business Case for the Project

• راه حل مورد نیاز Solution Requirements

• الگوهای معماری Architectural Patterns

• معماری مدرن انبار داده Modern Data Warehouse Architecture

• معماری پروژه دستی Hands-On Project Architecture

• مخازن Repositories

• خلاصه ماژول Module Summary

محیط Environment

• نمای کلی ماژول Module Overview

• ابزارهای نرم افزاری Software Tools

• راه اندازی ابزارهای نرم افزاری Software Tools Setup

• منابع لاجوردی Azure Resources

• راه اندازی منابع Azure Setup Azure Resources

• راه اندازی منابع Azure در پورتال Azure Setup Azure Resources in Azure Portal

• راه اندازی Azure Resource Group Setup Azure Resource Group

• راه اندازی Azure Data Lake Storage Setup Azure Data Lake Storage

• منبع Azure Data Factory را راه اندازی کنید Setup Azure Data Factory Resource

• راه اندازی منبع Azure Sql DB Setup Azure Sql DB Resource

• منابع Azure را مرور کنید Review Azure Resources

• راه اندازی Azure Data Studio Setup Azure Data Studio

• راه اندازی Azure Storage Explorer Setup Azure Storage Explorer

• خلاصه ماژول Module Summary

ساخت خط لوله داده Building a Data Pipeline

• نمای کلی ماژول Module Overview

• بلوک های ساختمان کارخانه داده های لاجورد - اجزای اصلی Building Blocks of Azure Data Factory - Main Components

• بلوک های ساختمانی کارخانه داده لاجورد - خطوط لوله و فعالیت ها Building Blocks of Azure Data Factory - Pipelines and Activities

• بلوک‌های ساختمانی کارخانه داده‌های لاجورد - چگونه به هم می‌پیوندند Building Blocks of Azure Data Factory - How they Tie Together

• رابط کاربری Azure Data Factory - صفحه اصلی Azure Data Factory User Interface - Main Page

• رابط کاربری Azure Data Factory - بوم نویسندگی Azure Data Factory User Interface - Authoring Canvas

• منابع اطلاعات Data Sources

• منابع داده - جذب داده Data Sources - Data Ingestion

• منابع داده - سازمان داده Data Sources - Data Organization

• ساخت خط لوله داده Building the Data Pipeline

• ساخت خط لوله داده - ایجاد کانتینرها Building the Data Pipeline - Creating the Containers

• ساخت خط لوله داده - ایجاد خط لوله Building the Data Pipeline - Creating the Pipeline

• ساخت خط لوله داده - بررسی و سازماندهی Building the Data Pipeline - Review and Organize

• وارد کردن داده های نیمه ساختار یافته Importing Semi-Structured Data

• واردات داده های نیمه ساختار یافته - ساخت خط لوله Importing Semi-Structured Data - Building the Pipeline

• واردات داده های نیمه ساختار یافته - سازماندهی خط لوله Importing Semi-Structured Data - Organizing the Pipeline

• وارد کردن داده های نیمه ساختار یافته - خلاصه درس Importing Semi-Structured Data - Recap of the Lesson

• قراردادهای نامگذاری Naming Conventions

• خلاصه ماژول Module Summary

فعالیت ها و پارامترهای خط لوله Pipeline Activities and Parameters

• نمای کلی ماژول Module Overview

• فعالیت ها Activities

• وابستگی های فعالیت Activity Dependencies

• وابستگی های فعالیت - مثال ها Activity Dependencies - Examples

• فعالیت کپی Copy Activity

• کپی مفاهیم فعالیت - مثال Copy Activity Concepts - Examples

• عبارات و متغیرها Expressions and Variables

• عبارات و متغیرها - مثالها Expressions and Variables - Examples

• مولفه های Parameters

• پارامترها - مثال ها Parameters - Examples

• Azure Key Vault - نمای کلی Azure Key Vault - Overview

• Azure Key Vault - راه اندازی Azure Key Vault - Setup

• Azure Key Vault - ایجاد سرویس پیوندی Azure Key Vault - Create Linked Service

• وارد کردن داده های نیمه ساختار یافته Importing Semi-Structured Data

• خلاصه ماژول Module Summary

نقشه برداری جریان داده ها Mapping Data Flows

• نمای کلی ماژول Module Overview

• مقدمه ای بر نگاشت جریان داده ها Introduction to Mapping Data Flows

• سناریوهای نقشه برداری جریان داده ها Scenarios for Mapping Data Flows

• رابط کاربری نگاشت جریان داده ها User Interface of Mapping Data Flows

• رابط کاربری نگاشت جریان داده - ویژگی اشکال زدایی User Interface of Mapping Data Flows - Debug Feature

• پیاده سازی جریان داده های نقشه برداری - نمای کلی Implementing a Mapping Data Flow - Overview

• پیاده سازی جریان داده های نقشه برداری - خط لوله و منابع داده Implementing a Mapping Data Flow - Pipeline and Data Sources

• پیاده سازی جریان داده های نقشه برداری - اضافه کردن تبدیل ها Implementing a Mapping Data Flow - Adding Transformations

• پیاده سازی یک جریان داده نقشه برداری - اجرای خط لوله Implementing a Mapping Data Flow - Pipeline Execution

• نقشه برداری جریان داده - مفاهیم Mapping Data Flow - Concepts

• نقشه‌برداری جریان داده - مثال مفاهیم Mapping Data Flow - Concepts Example

• عملکرد نگاشت جریان داده - یکپارچه سازی زمان اجرا Performance of Mapping Data Flows - Integration Runtime

• عملکرد نقشه برداری جریان داده ها Performance of Mapping Data Flows

• خلاصه ماژول Module Summary

پیاده سازی فلوت ها Implementing Flowlets

• نمای کلی ماژول Module Overview

• مقدمه ای بر Flowlets Introduction to Flowlets

• سناریوهای فلوولت ها Scenarios for Flowlets

• رابط کاربری Flowlets - نمای کلی User Interface of Flowlets - Overview

• رابط کاربری Flowlet - یک جریان آزمایشی ایجاد کنید User Interface of Flowlets - Create a Demo Flowlet

• پیاده سازی فلوولت - ایجاد فلوولت Implementing a Flowlet - Create Flowlet

• پیاده سازی Flowlet - از Flowlet استفاده کنید Implementing a Flowlet - Use the Flowlet

• خلاصه ماژول Module Summary

کنترل جریان خط لوله Controlling Pipeline Flow

• نمای کلی ماژول Module Overview

• ادعا می کند Asserts

• اجرای ادعاها - اظهار انتظار درست است Implementing Asserts - Assert Expect True

• پیاده سازی ادعاها - شناسایی ردیف های خطا Implementing Asserts - Identifying Error Rows

• پیاده سازی ادعاها - پردازش ردیف های خطا Implementing Asserts - Processing Error Rows

• بررسی اجمالی رسیدگی به خطا Error Handling Overview

• اجرای مدیریت خطا - فعالیت شکست Implementing Error Handling - Fail Activity

• پیاده سازی مدیریت خطا - گرفتن خطاها Implementing Error Handling - Capturing Errors

• پیاده سازی مدیریت خطا - ثبت خطاها Implementing Error Handling - Logging Errors

• پیاده سازی مدیریت خطا - بررسی خط لوله خطا Implementing Error Handling - Review of Error Pipeline

• ادغام کیفیت داده و مدیریت خطا Integrating Data Quality and Error Handling

• ساخت خطوط لوله با استفاده از الگوهای از پیش ساخته شده Building Pipelines using Pre-Built Templates

• خلاصه ماژول Module Summary

ساخت انبار داده - قسمت 1 Building the Data Warehouse - Part 1

• نمای کلی ماژول Module Overview

• نمای کلی انبار داده Data Warehouse Overview

• مدل های انبار داده Data Warehouse Models

• انبار داده Vino World Data Warehouse Vino World

• فرآیند داده Data Process

• ساخت پایگاه داده Azure Sql - جداول Stage را ایجاد کنید Building the Azure Sql Database - Create the Stage Tables

• ساخت پایگاه داده Azure Sql - جداول DW را ایجاد کنید Building the Azure Sql Database - Create the DW Tables

• ساخت داده های اصلی لایه مرحله بندی - داده های اصلی Building the Staging Layer Master Data - Master data

• ساخت داده های اصلی لایه مرحله بندی - داده های محصول Building the Staging Layer Master Data - Product data

• ساختن داده های اصلی لایه مرحله بندی - رویکرد فراداده Building the Staging Layer Master Data - Metadata approach

• ساخت داده های اصلی لایه مرحله بندی - مجموعه داده های پارامتر ایجاد کنید Building the Staging Layer Master Data - Create Parameter Datasets

• ساختن داده های اصلی لایه مرحله بندی - خط لوله ابرداده ایجاد کنید Building the Staging Layer Master Data - Create Metadata Pipeline

• ساختن داده های اصلی لایه مرحله بندی - اجرای خط لوله Building the Staging Layer Master Data - Pipeline execution

• ساخت داده های تراکنش لایه مرحله بندی Building the Staging Layer Transaction Data

• ساخت داده های محصول لایه مرحله بندی - داده های محصول را ترکیب کنید Building the Staging Layer Product Data - Combine Product Data

• ساخت داده های تراکنش لایه مرحله بندی - داده های فروش را ترکیب کنید Building the Staging Layer Transaction Data - Combine Sales Data

• خلاصه ماژول Module Summary

ساخت انبار داده - قسمت 2 Building the Data Warehouse - Part 2

• نمای کلی ماژول Module Overview

• ابعاد - مروری بر ابعاد Dimensions - Overview of Dimensions

• ابعاد - به آرامی تغییر ابعاد Dimensions - Slowly Changing Dimensions

• ابعاد - ابعاد اصلی و نوع SCD Dimensions - Master Dimensions and SCD Type

• ابعاد ساختمان نوع 1 - با استفاده از جریان داده ها Building Type1 Dimensions - Using Data Flows

• ابعاد ساختمان نوع 1 - بررسی خط لوله Building Type 1 Dimensions - Pipeline Review

• ابعاد ساختمان نوع 1 - با استفاده از رویه های ذخیره شده Building Type 1 Dimensions - Using Stored Procedures

• ابعاد - مروری بر ابعاد Type2 Dimensions - Overview of Type2 Dimensions

• ابعاد ساختمان نوع 2 - ابعاد محصول Building Type 2 Dimensions - Product Dimension

• ابعاد ساختمان نوع 2 - استفاده از جریان داده ها - مرحله 1 Building Type 2 Dimensions - Using Data Flows - Step1

• ابعاد ساختمان نوع 2 - استفاده از جریان داده ها - مرحله 2 Building Type 2 Dimensions - Using Data Flows - Step2

• ابعاد ساختمان نوع 2 - بررسی خط لوله Building Type 2 Dimensions - Pipeline Review

• ابعاد ساختمان نوع 2 - با استفاده از رویه های ذخیره شده Building Type 2 Dimensions - Using Stored Procedures

• ابعاد ساختمان - ابعاد باقیمانده را بسازید Building Dimensions - Build remaining dimensions

• حقایق - بررسی اجمالی Facts - Overview

• حقایق ساختمانی Building Facts

• بررسی انبار داده و تجزیه و تحلیل داده ها Data Warehouse Review and Data Analysis

• خلاصه ماژول Module Summary

ساخت دریاچه دلتا Building the Delta Lake

• نمای کلی ماژول Module Overview

• خلاصه ای از آنچه اجرا کردیم Recap of what we implemented

• آنچه را اجرا خواهیم کرد What we will implement

• Azure Databricks Azure Databricks

• Azure Databricks چیست؟ What is Azure Databricks

• مصنوعات اصلی آجرهای داده آژور Core Artifacts of Azure Databricks

• راه اندازی Azure Databricks Setup Azure Databricks

• راه اندازی منبع Databricks Setup Databricks Resource

• مروری بر رابط کاربری Databricks Databricks UI Overview

• بررسی اجمالی خوشه Databricks Databricks Cluster Overview

• ایجاد خوشه Databricks Create Databricks Cluster

• Azure Service Principal و دسترسی به Data Lake Storage Azure Service Principal and Access to Data Lake Storage

• Mount Azure Data Lake Storage Mount Azure Data Lake Storage

• مروری بر اجرای دریاچه دلتا Overview of Delta Lake Implementation

• دریاچه دلتا چیست؟ What is a Delta Lake

• منبع داده را برای جدول دلتا ایجاد کنید Create Data Source for the Delta Table

• جدول دلتا ایجاد کنید Create Delta Table

• بارگذاری جدول دلتا Load Delta Table

• جدول دلتا را به روز کنید Update Delta Table

• مفاهیم جدول دلتا Delta Table Concepts

• ایجاد سرویس پیوندی به Databricks از Data Factory Create Linked Service to Databricks from Data Factory

• اجرای Databricks Notebook از Data Factory Executing Databricks Notebook from Data Factory

• خلاصه ماژول Module Summary

لایه نمایشی Presentation Layer

• نمای کلی ماژول Module Overview

• نمای کلی - انبار داده مدرن Overview - Modern Data Warehouse

• نمای کلی - آنچه را که ما اجرا کردیم Overview - What we implemented

• نمای کلی - آنچه را که ما اجرا خواهیم کرد Overview - What we will implement

• PowerBI - نصب PowerBI - Installation

• PowerBI - بررسی اجمالی PowerBI - Overview

• PowerBI - اتصال به انبار داده PowerBI - Connecting to the Data Warehouse

• PowerBI - ساخت مدل جدولی PowerBI - Building the Tabular Model

• PowerBI - ساخت گزارش PowerBI - Building the Report

• PowerBI - گزارش مورد نیاز PowerBI - Report Requirements

• PowerBI - گزارش بررسی PowerBI - Report Review

• خلاصه ماژول Module Summary

محرک ها Triggers

• نمای کلی ماژول Module Overview

• مروری بر محرک ها Overview of Triggers

• رویکرد اجرای خط لوله Approach to Pipeline Execution

• اجرای خط لوله اصلی Implementing a Master Pipeline

• اجرای Master Pipeline Executing the Master Pipeline

• پیاده سازی محرک های مبتنی بر رویداد Implementing Event-based triggers

• اجرای تریگرهای مبتنی بر رویداد Executing Event-based Triggers

• برنامه ریزی خطوط لوله Scheduling Pipelines

• ایجاد یک ماشه پنجره غلتشی Creating a Tumbling Window Trigger

• خلاصه ماژول Module Summary

نظارت بر Monitoring

• نمای کلی ماژول Module Overview

• اجرای تریگرهای مبتنی بر رویداد Executing Event-based triggers

• مروری بر پایش کارخانه داده Overview of Data Factory Monitoring

• چه چیزی را در Azure Data Factory نظارت می کنیم What do we monitor in Azure Data Factory

• مانیتورینگ بصری در کارخانه داده Azure Visual Monitoring in Azure Data Factory

• بازیابی خط لوله Pipeline Recovery

• تنظیم هشدارها Setup Alerts

• هشدار را اعتبارسنجی کنید Validate the Alert

• معیارهای Metrics

• خلاصه ماژول Module Summary

بخش 16: نتیجه گیری Section 16: Conclusion

• خلاصه Summary