آموزش کارخانه داده Azure برای مهندسان داده - پروژه در مورد Covid19

سرفصل ها و درس ها

معرفی Introduction

• معرفی دوره Course Introduction

• ساختار دوره Course Structure

• دانلود اسلایدهای دوره Course Slides Download

مروری Overviews

• بررسی اجمالی کارخانه داده Azure Azure Data Factory Overview

• بررسی اجمالی پروژه Project Overview

• بررسی اجمالی معماری راه حل Solution Architecture Overview

• بررسی اجمالی راه حل های ذخیره سازی Azure Azure Storage Solutions Overview

• لینک ها و منابع مفید Useful Links & Resources

تنظیم محیط Environment Set-up

• تنظیم محیط - نمای کلی ماژول Environment Set-up - Module Overview

• ایجاد حساب رایگان Azure Creating Azure Free Account

• مروری بر پورتال لاجورد Azure Portal Overview

• ایجاد کارخانه داده Azure Creating Azure Data Factory

• ایجاد حساب ذخیره سازی Azure Creating Azure Storage Account

• نصب Azure Storage Explorer Installing Azure Storage Explorer

• ایجاد Azure Data Lake Storage Gen2 Creating Azure Data Lake Storage Gen2

• ایجاد پایگاه داده Azure SQL Creating Azure SQL Database

• نصب Azure Data Studio Installing Azure Data Studio

• لینک ها و منابع مفید Useful Links & Resources

بلع داده از Azure Blob Data Ingestion from Azure Blob

• دریافت داده از Azure Blob - مرور کلی ماژول Data Ingestion from Azure Blob - Module Overview

• کپی نمای کلی فعالیت Copy Activity Overview

• آماده سازی محیط Environment Preparation

• استانداردهای نامگذاری Naming Standards

• خدمات مرتبط و مجموعه داده Linked Services & Data Sets

• ایجاد خط لوله ADF Creating ADF Pipeline

• فعالیت های جریان کنترل (1) - فعالیت اعتبارسنجی Control Flow Activities (1) - Validation Activity

• کنترل فعالیت‌های جریان (2) - دریافت فراداده، اگر شرط، فعالیت‌های وب Control Flow Activities (2) - Get Metadata, If Condition, Web Activities

• کنترل فعالیت های جریان (3) - حذف فعالیت Control Flow Activities (3) - Delete Activity

• مروری بر محرک های ADF ADF Triggers Overview

• ایجاد رویداد ماشه Creating Event Trigger

• لینک ها و منابع مفید Useful Links & Resources

انتقال داده از HTTP Data Ingestion From HTTP

• انتقال داده از HTTP - نمای کلی ماژول Data Ingestion From HTTP - Module Overview

• مهم - تغییرات اخیر در داده های ECDC Important - Recent Changes to ECDC Data

• بررسی اجمالی داده های ECDC ECDC Data Overview

• خط لوله ایجاد کنید Create Pipeline

• سوالات متداول - لطفا بخوانید Frequently Asked Questions - Please Read

• متغیرهای خط لوله Pipeline Variables

• پارامترهای خط لوله و ماشه زمانبندی Pipeline Parameters & Schedule Trigger

• کنترل فعالیت های جریان Control Flow Activities

• اشکال احتمالی ADF در درس بعدی - لطفا بخوانید ADF potential bug in the next lesson - Please Read

• پارامترهای سرویس مرتبط Linked Service Parameters

• خط لوله مبتنی بر فراداده Metadata Driven Pipeline

• لینک ها و منابع مفید Useful Links & Resources

جریان داده ها - موارد و مرگ و میر تبدیل داده ها Data Flows - Cases & Deaths Data Transformation

• جریان داده (1) - مرور کلی ماژول Data Flows(1) - Module Overview

• مقدمه ای بر جریان داده ها Introduction to Data Flows

• مروری بر رابط کاربری جریان داده Data Flow UI Overview

• بررسی اجمالی نیازمندی های تحول Transformation Requirement Overview

• تبدیل منبع Source Transformation

• تبدیل فیلتر Filter Transformation

• Transformation را انتخاب کنید Select Transformation

• تبدیل محوری Pivot Transformation

• تغییر شکل جستجو Lookup Transformation

• تبدیل سینک Sink Transformation

• خط لوله ADF ایجاد کنید Create ADF Pipeline

• لینک ها و منابع مفید Useful Links & Resources

جریان داده ها - تبدیل داده های پذیرش در بیمارستان Data Flows - Hospital Admissions Data Transformation

• جریان داده (2) - مرور کلی ماژول Data Flows(2) - Module Overview

• نیاز تحول Transformation Requirement

• تبدیل منبع (تکلیف) Source Transformation (Assignment)

• تبدیل (تخصیص) را انتخاب کنید Select Transformation (Assignment)

• کشور جستجو (تکلیف) Lookup Country (Assignment)

• تبدیل تقسیم شرطی Conditional Split Transformation

• تبدیل منبع - DimDate Source Transformation - DimDate

• تبدیل ستون مشتق شده Derived Column Transformation

• تبدیل کل Aggregate Transformation

• به Transformation بپیوندید Join Transformation

• تبدیل محوری (تکلیف) Pivot Transformation (Assignment)

• تبدیل مرتب سازی Sort Transformation

• تبدیل سینک (تخصیص) Sink Transformation (Assignment)

• ایجاد خط لوله ADF (تخصیص) Create ADF Pipeline (Assignment)

• لینک ها و منابع مفید Useful Links & Resources

داده ها را برای HDInsight و Data Bricks آماده کنید Prepare Data for HDInsight & Data Bricks

• داده ها را برای HDInsight و Data Bricks آماده کنید Prepare Data for HDInsight & Data Bricks

فعالیت HDInsight HDInsight Activity

• فعالیت HDInsight - نمای کلی ماژول HDInsight Activity - Module Overview

• نکته برای کاربران لایه رایگان و اشتراک دانشجویی Azure Note for Azure Free Tier & Student Subscription users

• خوشه HDInsight را ایجاد کنید Create HDInsight Cluster

• گشت و گذار در رابط کاربری HDInsight Tour of the HDInsight UI

• نیاز تحول Transformation Requirement

• بررسی اسکریپت Hive Hive Script Walkthrough

• خط لوله ADF را با فعالیت Hive ایجاد کنید Create ADF Pipeline with Hive Activity

• خوشه HDInsight را حذف کنید Delete HDInsight Cluster

• لینک ها و منابع مفید Useful Links & Resources

فعالیت آجرهای داده Data Bricks Activity

• Data Bricks Activity - نمای کلی ماژول Data Bricks Activity - Module Overview

• پیکربندی کلاستر - فقط برای اشتراک های رایگان و دانشجویی Cluster Configuration - Only for Free and Student Subscriptions

• سرویس Azure Databricks را ایجاد کنید Create Azure Databricks Service

• خوشه Azure Databricks را ایجاد کنید Create Azure Databricks Cluster

• نصب Azure Data Lake Storage Mounting Azure Data Lake Storage

• الزامات تحول Transformation Requirements

• ایجاد فعالیت ADF Pipeline Databricks Notebook Create ADF Pipeline Databricks Notebook Activity

• فقط برای دانش آموزانی که از اشتراک رایگان Azure استفاده می کنند Only for students using Free Azure Subscription

• لینک ها و منابع مفید Useful Links & Resources

کپی داده ها در Azure SQL Copy Data to Azure SQL

• کپی داده ها در Azure SQL - نمای کلی ماژول Copy Data to Azure SQL - Module Overview

• کپی فعالیت داده - داده های موارد و مرگ و میر Copy Data Activity - Cases & Deaths Data

• Copy Data Activity - Hospital Admissions Data Copy Data Activity - Hospital Admissions Data

• Copy Data Activity - Testing Data Copy Data Activity - Testing Data

• لینک ها و منابع مفید Useful Links and Resources

آماده سازی تولید خطوط لوله Making Pipelines Production Ready

• آماده سازی تولید خطوط لوله - نمای کلی ماژول Making Pipelines Production Ready - Module Overview

• گزینه 1 - وابستگی خط لوله Option 1 - Pipeline Dependency

• گزینه 2 - وابستگی ماشه Option 2 - Trigger Dependency

• لینک ها و منابع مفید Useful Links & Resources

نظارت بر Monitoring

• نظارت - نمای کلی ماژول Monitoring - Module Overview

• چه چیزی را نظارت کنیم و چگونه What to Monitor & How

• مانیتور Azure Data Factory Azure Data Factory Monitor

• ایجاد هشدارها Creating Alerts

• مانیتور کردن خرابی های خط لوله Monitor Pipeline Failures

• اجرای مجدد Failed Pipelines Re-run Failed Pipelines

• گزارش در مورد متریک Reporting on Metrics

• آشنایی با مانیتور Azure Introduction to Azure Monitor

• مقدمه ای بر Log Analytics Introduction to Log Analytics

• Log Analytics قابلیت های بیشتر Log Analytics Further capabilities

• تجزیه و تحلیل کارخانه داده Azure Azure data factory analytics

• لینک ها و منابع مفید Useful Links & Resources

گزارشات Power BI Power BI Reports

• گزارشات Power BI - نمای کلی ماژول Power BI Reports - Module Overview

• آشنایی با PowerBI Desktop Introduction to PowerBI Desktop

• در گزارش کووید-19 قدم بزنید Walk through the Covid-19 Report

• لینک ها و منابع مفید Useful Links & Resources

ادغام مداوم/تحویل مداوم (CI/CD) Continuous Integration / Continuous Delivery (CI/CD)

• ادغام مداوم/تحویل مستمر - نمای کلی ماژول Continuous Integration/ Continuous Delivery - Module Overview

• مقدمه ای بر ادغام پیوسته/تحویل مستمر (CI/CD) Introduction to Continuous Integration/ Continuous Delivery (CI/CD)

• مقدمه ای بر CI/CD برای Azure Data Factory Introduction to CI/CD for Azure Data Factory

• نمای کلی Azure DevOps Overview of Azure DevOps

• راه اندازی محیط DevOps Azure Azure DevOps Environment Set-up

• راه اندازی محیط کارخانه داده Azure Azure Data Factory Environment Set-up

• Azure Data Factory Git Configuration Azure Data Factory Git Configuration

• توسعه کد کارخانه داده Azure با استفاده از Git Azure Data Factory Code Development using Git

• گزینه 1 - ساخت دستی Option 1 - Manual Build

• گزینه 1 - طراحی خط لوله آزاد Option 1 - Release Pipeline Design

• گزینه 1 - ایجاد ARM Deployment Task Option 1 - Creating ARM Deployment Task

• گزینه 1 - تست ARM Deployment Task Option 1 - Testing ARM Deployment Task

• گزینه 1 - مشکلات استقرار ARM Task Option 1 - Pitfalls of ARM Deployment Task

• گزینه 1 - وظایف پیش و پس از استقرار Option 1 - Pre and Post Deployment Tasks

• گزینه 1 - متغیرهای خط لوله Option 1 - Pipeline Variables

• گزینه 1 - مرحله تولید را اضافه کنید Option 1 - Add Production Stage

• گزینه 2 - بررسی اجمالی Option 2 - Overview

• گزینه 2 - YAML Build Pipeline Script Walkthrough Option 2 - YAML Build Pipeline Script Walkthrough

• گزینه 2 - خط لوله ساخت YAML را ایجاد کنید Option 2 - Create YAML Build Pipeline

• گزینه 2 - به روز رسانی خط لوله انتشار Option 2 - Update Release Pipeline

• گزینه 2 - CI/CD End to End Testing Option 2 - CI/CD End to End Testing

• لینک ها و منابع مفید Useful Links & Resources

سناریوی CI/CD - دسترسی به دریاچه داده CI/CD Scenario - Data Lake Access

• دسترسی به اطلاعات اجمالی ذخیره‌سازی دریاچه Access to Data Lake Storage Overview

• راه اندازی ذخیره سازی دریاچه داده Data Lake Storage Set-up

• استفاده از هویت مدیریت شده - اجازه دسترسی به Data Lake Using Managed Identity - Grant access to Data Lake

• با استفاده از هویت مدیریت شده - خط لوله کارخانه داده ایجاد کنید Using Managed Identity - Create Data Factory Pipeline

• استفاده از هویت مدیریت شده - تغییرات خط لوله را آزاد کنید Using Managed Identity - Release Pipeline changes

• استفاده از کلیدهای دسترسی - بررسی اجمالی گزینه های راه حل Using Access Keys - Solution Options Overview

• استفاده از کلیدهای دسترسی - راه‌اندازی خزانه کلید Using Access Keys - Key Vault Set-up

• با استفاده از کلیدهای دسترسی - خط لوله کارخانه داده ایجاد کنید Using Access Keys - Create Data Factory Pipeline

• استفاده از کلیدهای دسترسی - تغییرات خط لوله را آزاد کنید Using Access Keys - Release Pipeline Changes

نتیجه Conclusion

• تبریک و موفق باشید Congratulations & Good Luck

• سخنرانی پاداش Bonus Lecture