آموزش Azure Data Factory برای مبتدیان - Build Data Ingestion

سرفصل ها و درس ها

مقدمه - اولین خط لوله داده Azure خود را بسازید Inroduction - Build your first Azure Data Pipeline

مقدمه - اولین خط لوله داده Azure خود را بسازید Inroduction - Build your first Azure Data Pipeline

• مقدمه ای بر ADF Introduction to ADF

• بحث الزامات و معماری فنی Requirements Discussion and Technical Architecture

• یک حساب رایگان Azure ثبت کنید Register a Free Azure Account

• یک منبع کارخانه داده ایجاد کنید Create A Data Factory Resource

• یک حساب ذخیره سازی ایجاد کنید و داده ها را آپلود کنید Create A Storage Account and Upload Data

• حساب ذخیره سازی Data Lake Gen 2 ایجاد کنید Create Data Lake Gen 2 Storage Account

• Storage Explorer را دانلود کنید Download Storage Explorer

• اولین خط لوله لاجوردی خود را ایجاد کنید Create Your First Azure Pipeline

• سخنان پایانی Closing Remarks

بلع مبتنی بر فراداده Metadata Driven Ingestion

بلع مبتنی بر فراداده Metadata Driven Ingestion

• مقدمه - بلع مبتنی بر فراداده Introduction - Metadata Driven Ingestion

• طرح سطح بالا High Level Plan

• کاربر Active Directory ایجاد کنید Create Active Directory User

• نقش مشارکت کننده را به کاربر اختصاص دهید Assign the Contributor Role to the User

• پیش فرض های امنیتی را غیرفعال کنید Disable Security Defaults

• ایجاد پایگاه داده فراداده Creating the Metadata Database

• Azure Data Studio را نصب کنید Install Azure Data Studio

• جداول فراداده و رویه های ذخیره شده ایجاد کنید Create Metadata Tables and Stored Procedures

• پیکربندی مجدد مصنوعات کارخانه داده موجود Reconfigure Existing Data Factory Artifacts

• برنامه Logic را برای مدیریت اعلان‌های ایمیل تنظیم کنید Set Up Logic App for Handling Email Notifications

• خط لوله Data Factory را برای ارسال اعلان ایمیل تغییر دهید Modify the Data Factory Pipeline to Send an Email Notification

• ایجاد سرویس پیوندی برای پایگاه داده فراداده و مجموعه داده ایمیل Create Linked Service for Metadata Database and Email Dataset

• خط لوله ابزاری برای ارسال اعلان های ایمیل ایجاد کنید Create Utility Pipeline to Send Email Notifications

• توضیح جدول دریافت کنندگان ایمیل Explaining the Email Recipients Table

• توضیح مراحل ذخیره آدرس های ایمیل Explaining the Get Email Addresses Stored Procedure

• برای استفاده از Email Utility Pipeline، Ingestion Pipeline را تغییر دهید Modify Ingestion Pipeline to use the Email Utility Pipeline

• ردیابی خط لوله تحریک شده Tracking the Triggered Pipeline

• پویا کردن اعلان‌های ایمیل Making the Email Notifications Dynamic

• پویا کردن ثبت اطلاعات خط لوله Making Logging of Pipeline Information Dynamic

• یک روش جدید برای ورود به خط لوله اصلی جذب اضافه کنید Add a new way to log the main ingestion pipeline

• Logging of Pipelines را تغییر دهید تا فقط پیام Fail ارسال شود Change the Logging of Pipelines to send Fail message only

• ایجاد مجموعه داده های پویا Creating Dynamic Datasets

• خواندن از منبع تا هدف قسمت 1 Reading from Source To Target Part 1

• خواندن از منبع به هدف قسمت 2 Reading from Source To Target Part 2

• توضیح روش منبع به هدف ذخیره شده Explaining the Source To Target Stored Procedure

• قسمت 1 خط لوله ارکستراسیون را اضافه کنید Add Orchestration Pipeline Part 1

• قسمت 2 خط لوله ارکستراسیون را اضافه کنید Add Orchestration Pipeline Part 2

• رفع تکراری شدن مصرف دسته ای Fixing the Duplicating Batch Ingestions

• آشنایی با گزارش خط لوله و جداول مرتبط Understanding the Pipeline Log and Related Tables

• درک روش ذخیره شده GetBatch Understanding the GetBatch Stored Procedure

• آشنایی با Set Batch Status و GetRunID Understanding the Set Batch Status and GetRunID

• راه اندازی یک مخزن گیت Azure DevOps Setting Up an Azure DevOps Git Repository

• انتشار Data Factory برای Azure DevOps Publishing the Data Factory to Azure DevOps

• سخنان پایانی Closing Remarks

بلع مبتنی بر رویداد Event Driven Ingestion

بلع مبتنی بر رویداد Event Driven Ingestion

• معرفی Introduction

• از Azure Storage Plan بخوانید Read From Azure Storage Plan

• کانتینر مالی ایجاد کنید و فایل‌ها را آپلود کنید Create Finance Container and Upload Files

• مجموعه داده منبع را ایجاد کنید Create Source Dataset

• Write To Data Lake - Raw Plan Write To Data Lake - Raw Plan

• کانتینر و دایرکتوری های مالی ایجاد کنید Create Finance Container and Directories

• مجموعه داده سینک را ایجاد کنید Create Sink Dataset

• طرح خط لوله کارخانه داده Data Factory Pipeline Plan

• Data Factory را ایجاد کنید و متادیتا را بخوانید Create Data Factory and Read Metadata

• افزودن فیلتر بر اساس CSV Add Filter By CSV

• مجموعه داده ها را به فایل های خواندنی اضافه کنید Add Dataset to Read Files

• برای هر فعالیت فایل CSV و تست جذب را اضافه کنید Add the For Each CSV File Activity and Test Ingestion

• افزودن طرح محرک مبتنی بر رویداد Adding the Event Based Trigger Plan

• Event Grid Provider را فعال کنید Enable the Event Grid Provider

• فایل را حذف کنید و تریگر مبتنی بر رویداد را اضافه کنید Delete File and Add Event Based Trigger

• ایجاد ماشه مبتنی بر رویداد Create Event Based Trigger

• کد را در شعبه اصلی منتشر کنید و تریگر را شروع کنید Publish Code to Main Branch and Start Trigger

• محرک مبتنی بر رویداد Trigger Event Based Ingestion

• سخنان پایانی Closing Remarks

معرفی و نصب (دوره جایزه - ارائه Infra با Azure BICEP) Introduction and Installation (Bonus Course - Provision Infra with Azure BICEP )

معرفی و نصب (دوره جایزه - ارائه Infra با Azure BICEP) Introduction and Installation (Bonus Course - Provision Infra with Azure BICEP )

• معرفی Introduction

• یک حساب کاربری رایگان ثبت کنید Register a Free Account

• سازمان و پروژه DevOps را ایجاد کنید Create DevOps Organisation and Project

• Azure CLI را نصب کنید Install Azure CLI

• BICEP را نصب کنید Install BICEP

• Git Bash را نصب کنید Install Git Bash

• کد ویژوال استودیو را نصب کنید Install Visual Studio Code

• برنامه های افزودنی کد ویژوال استودیو را نصب کنید Install Visual Studio Code Extensions

• Git Bash را به عنوان پایانه پیش فرض تنظیم کنید Set Git Bash as Default Terminal

دوره Git Crash (دوره جایزه - ارائه Infra با Azure BICEP) Git Crash Course (Bonus Course - Provision Infra with Azure BICEP )

دوره Git Crash (دوره جایزه - ارائه Infra با Azure BICEP) Git Crash Course (Bonus Course - Provision Infra with Azure BICEP )

• مقدمه ای بر Git Introduction to Git

• مخزن محلی Git ایجاد کنید Create Local Git Repository

• مرحله بندی و اجرای یک فایل Staging and Committing one File

• مرحله بندی و اجرای چند فایل Staging and Committing Multiple File

• یک شعبه جدید در Local Repo ایجاد کنید Create a New Branch in Local Repo

• کد را در شعبه جدید اصلاح و متعهد کنید Modify and Commit Code in the New Branch

• ادغام شاخه ها Merging Branches

• Git با کد ویژوال استودیو Git with Visual Studio Code

• مشاهده وضعیتی در گذشته Viewing a State in the Past

• لغو تغییرات Undoing Changes

• بازنشانی تغییرات Reset Changes

Azure DevOps Pipeline Agents (دوره جایزه - ارائه Infra با Azure BICEP) Azure DevOps Pipeline Agents (Bonus Course - Provision Infra with Azure BICEP )

Azure DevOps Pipeline Agents (دوره جایزه - ارائه Infra با Azure BICEP) Azure DevOps Pipeline Agents (Bonus Course - Provision Infra with Azure BICEP )

• Billing و Microsoft Hosted Runtime Agent را تنظیم کنید Set up Billing and Microsoft Hosted Runtime Agent

• Dot Net SDK و Core Framework را نصب کنید Install Dot Net SDK and Core Framework

• Powershell 7 را نصب کنید Install Powershell 7

• Visual Studio 2022 Community Edition را نصب کنید Install Visual Studio 2022 Community Edition

• رمز دسترسی شخصی را تنظیم کنید Set Up Personal Access Token

• Agent را دانلود و پیکربندی کنید Download and Configure Agent

• عامل میزبانی خود را آزمایش کنید Test Self Hosted Agent

مقدمه ای بر خطوط لوله YAML (دوره پاداش - ارائه Infra با Azure BICEP Introduction to YAML Pipelines (Bonus Course - Provision Infra with Azure BICEP

مقدمه ای بر خطوط لوله YAML (دوره پاداش - ارائه Infra با Azure BICEP Introduction to YAML Pipelines (Bonus Course - Provision Infra with Azure BICEP

• یک اتصال سرویس ایجاد کنید Create a Service Connection

• مخزن کلون Clone Repository

• ساختار پروژه را ایجاد کنید Create The Project Structure

• اسکریپت Powershell Resource Group را ایجاد کنید Create the Resource Group Powershell Script

• Stage و Job را به فایل Yaml Resource Group اضافه کنید Add Stage and Job to Resource Group Yaml File

• Tasks را به Resource Group YAML و Run Pipeline اضافه کنید Add Tasks to Resource Group YAML and Run Pipeline

• اعتبار سنجی گروه منابع تامین شده Validating the Provisioned Resource Group

ایجاد ساختار پروژه برای تجزیه و تحلیل گزارش Create Project Structure for Log Analytics

ایجاد ساختار پروژه برای تجزیه و تحلیل گزارش Create Project Structure for Log Analytics

• هدف پروژه - گزارش ساختار پروژه تجزیه و تحلیل Project Goal - Log Analytics Project Structure

• یک مخزن برای تامین زیرساخت ایجاد کنید Create a Repository for Provisioning Infrastructure

• Repo را شبیه سازی کنید و شعبه ایجاد کنید Clone Repo and Create Branch

• پوشه و ساختار پروژه ایجاد کنید Create Project Folder and Structure

Log Analytics ماژول BICEP (دوره جایزه - ارائه Infra با Azure BICEP) Log Analytics BICEP Module (Bonus Course - Provision Infra with Azure BICEP )

Log Analytics ماژول BICEP (دوره جایزه - ارائه Infra با Azure BICEP) Log Analytics BICEP Module (Bonus Course - Provision Infra with Azure BICEP )

• مقدمه - Log Analytics Module Introduction - Log Analytics Module

• Log Analytics الگوی ماژول BICEP Log Analytics BICEP Module Template

• پارامترهای ورودی را به الگوی Log Analytics اضافه کنید Add Input Parameters to Log Analytics Template

• الگوی ماژول BICEP Log Analytics را توسعه دهید Develop Log Analytics BICEP Module Template

• برنامه ریزی برای توسعه فایل اصلی BICEP برای Log Analytics Plan for Developing the Main BICEP file for Log Analytics

• متغیرهای برچسب گذاری و نامگذاری منابع را اضافه کنید Add Tagging and Resource Naming Variables

• متغیرهای پارامتر را برای ماژول تجزیه و تحلیل BICE Log اضافه کنید Add Parameter Variables for BICE Log Analytics Module

• الگوی ماژول تجزیه و تحلیل گزارش BICEP را فراخوانی کنید Invoke the BICEP Log Analytics Module Template

کامپایل BICEP به ARM (دوره جایزه - ارائه Infra با Azure BICEP) Compile BICEP to ARM (Bonus Course - Provision Infra with Azure BICEP )

کامپایل BICEP به ARM (دوره جایزه - ارائه Infra با Azure BICEP) Compile BICEP to ARM (Bonus Course - Provision Infra with Azure BICEP )

• مقدمه - کامپایل BICEP به ARM Introduction - Compile BICEP to ARM

• برنامه ریزی برای کامپایل BICEP به ARM Plan for Compiling BICEP to ARM

• ساخت اسکریپت برای کامپایل BICEP در ARM Build Script to Compile BICEP to ARM

ایجاد زیرساخت YAML Pipeline to Provision Create YAML Pipeline to Provision Infrastructure

ایجاد زیرساخت YAML Pipeline to Provision Create YAML Pipeline to Provision Infrastructure

• معرفی Introduction

• برنامه ریزی برای توسعه YAML برای زیرساخت های تامین Plan to develop YAML for Provision Infrastructure

• ایجاد گروه متغیر در Azure DevOps Creating the Variable Group on Azure DevOps

• توسعه YAML - اضافه کردن یک ماشه، پارامترها و متغیرها Develop YAML - Add a Trigger, Parameters and Variables

• توسعه YAML - اضافه کردن Stage و Job Develop YAML - Add Stage and Job

• توسعه YAML - افزودن وظیفه به زیرساخت ارائه Develop YAML - Add Task to Provision Infrastructure

• خط لوله را اجرا کنید Run Pipeline

• رفع خطاهای Fix Errors

• Deployment را تایید کنید Confirm the Deployment

نحوه رسیدگی به خطاها (دوره پاداش - ارائه Infra با Azure BICEP) How to Handle Errors (Bonus Course - Provision Infra with Azure BICEP )

نحوه رسیدگی به خطاها (دوره پاداش - ارائه Infra با Azure BICEP) How to Handle Errors (Bonus Course - Provision Infra with Azure BICEP )

• یک خطای عمدی ایجاد کنید Create a Deliberate Error

• خط لوله را اجرا کنید Run the Pipeline

• رفع خطای اسکریپت پوسته Fix Shell Script Error

• نمایش خطاهای الگوی YAML Show YAML Template Errors

ماژول BICEP Factory Data (دوره جایزه - ارائه Infra با Azure) Data Factory BICEP Module (Bonus Course - Provision Infra with Azure )

ماژول BICEP Factory Data (دوره جایزه - ارائه Infra با Azure) Data Factory BICEP Module (Bonus Course - Provision Infra with Azure )

• مقدمه و هدف Introduction and Goal

• باز کردن بسته بندی ماژول BICEP Factory Data Unpacking the Data Factory BICEP Module

• فایل ها و دایرکتوری های ماژول Bicep Factory Data را ایجاد کنید Create Data Factory Bicep Module Files and Directories

• الگوی ماژول Data Factory BICEP را ایجاد کنید Create the Data Factory BICEP Module Template

• افزودن وابستگی تجزیه و تحلیل ورود به سیستم به الگوی ماژول ماژول BICEP Add Log Analytics Dependency to BICEP Module Module Template

• ایجاد فایل اصلی BICEP برای Data Factory Creating the Main BICEP file for Data Factory

خط لوله YAML را به Provision Data Factory and Log Analytics تغییر دهید Modify YAML Pipeline to Provision Data Factory and Log Analytics

خط لوله YAML را به Provision Data Factory and Log Analytics تغییر دهید Modify YAML Pipeline to Provision Data Factory and Log Analytics

• مقدمه و هدف Introduction and Goal

• خط لوله YAML را برای تهیه Data Factory تغییر دهید Modify YAML pipeline to provision Data Factory

• Pipeline Log Analytics و Data Factory را اجرا کنید Run Pipeline Log Analytics and Data Factory

• Log Analytics و Data Factory تایید شد Confirmed Log Analytics and Data Factory