Azure Data Factory for Beginners - Build Data Ingestion [ویدئو]

سرفصل ها و درس ها

مقدمه - اولین خط لوله داده Azure خود را بسازید Introduction – Build Your First Azure Data Pipeline

• مقدمه دوره Introduction to the Course

• مقدمه ای بر ADF (Azure Data Factory) Introduction to ADF (Azure Data Factory)

• بحث الزامات و معماری فنی Requirements Discussion and Technical Architecture

• یک حساب رایگان Azure ثبت کنید Register a Free Azure Account

• یک منبع Data Factory ایجاد کنید Create a Data Factory Resource

• یک حساب ذخیره سازی ایجاد کنید و داده ها را آپلود کنید Create a Storage Account and Upload Data

• حساب ذخیره سازی Data Lake Gen 2 ایجاد کنید Create Data Lake Gen 2 Storage Account

• Storage Explorer را دانلود کنید Download Storage Explorer

• اولین خط لوله لاجوردی خود را ایجاد کنید Create Your First Azure Pipeline

• سخنان پایانی Closing Remarks

بلع مبتنی بر فراداده Metadata-Driven Ingestion

• مقدمه ای بر فراداده محوری هضم Introduction to Metadata-Driven Ingestion

• طرح سطح بالا High-Level Plan

• کاربر Active Directory ایجاد کنید Create Active Directory User

• نقش مشارکت کننده را به کاربر اختصاص دهید Assign the Contributor Role to the User

• پیش فرض های امنیتی را غیرفعال کنید Disable Security Defaults

• ایجاد پایگاه داده فراداده Creating the Metadata Database

• Azure Data Studio را نصب کنید Install Azure Data Studio

• جداول فراداده و رویه های ذخیره شده ایجاد کنید Create Metadata Tables and Stored Procedures

• پیکربندی مجدد مصنوعات کارخانه داده موجود Reconfigure Existing Data Factory Artifacts

• برنامه Logic را برای مدیریت اعلان‌های ایمیل تنظیم کنید Set Up Logic App to Handle Email Notifications

• خط لوله Data Factory را برای ارسال اعلان ایمیل تغییر دهید Modify the Data Factory Pipeline to Send an Email Notification

• ایجاد سرویس پیوندی برای پایگاه داده فراداده و مجموعه داده ایمیل Create Linked Service for Metadata Database and Email Dataset

• خط لوله ابزاری برای ارسال اعلان های ایمیل ایجاد کنید Create Utility Pipeline to Send Email Notifications

• توضیح جدول دریافت کنندگان ایمیل Explaining the Email Recipients Table

• توضیح مراحل ذخیره آدرس های ایمیل Explaining the Get Email Addresses Stored Procedure

• برای استفاده از Email Utility Pipeline، Ingestion Pipeline را تغییر دهید Modify Ingestion Pipeline to Use the Email Utility Pipeline

• ردیابی خط لوله تحریک شده Tracking the Triggered Pipeline

• پویا کردن اعلان‌های ایمیل Making the Email Notifications Dynamic

• پویا کردن ثبت اطلاعات خط لوله Making Logging of Pipeline Information Dynamic

• یک راه جدید برای ورود به خط لوله انتقال اصلی اضافه کنید Add a New Way to Log the Main Ingestion Pipeline

• ثبت نام خطوط لوله را به ارسال فقط پیام شکست تغییر دهید Change the Logging of Pipelines to Send Fail Message Only

• ایجاد مجموعه داده های پویا Creating Dynamic Datasets

• خواندن از منبع تا هدف - قسمت 1 Reading from Source to Target - Part 1

• خواندن از منبع تا هدف - قسمت 2 Reading from Source to Target - Part 2

• توضیح روش منبع به هدف ذخیره شده Explaining the Source to Target Stored Procedure

• اضافه کردن خط لوله ارکستراسیون - قسمت 1 Add Orchestration Pipeline - Part 1

• اضافه کردن خط لوله ارکستراسیون - قسمت 2 Add Orchestration Pipeline - Part 2

• رفع تکراری شدن مصرف دسته ای Fixing the Duplicating Batch Ingestions

• آشنایی با گزارش خط لوله و جداول مرتبط Understanding the Pipeline Log and Related Tables

• درک روش ذخیره شده GetBatch Understanding the GetBatch Stored Procedure

• آشنایی با Set Batch Status و GetRunID Understanding the Set Batch Status and GetRunID

• راه اندازی یک مخزن گیت Azure DevOps Setting Up an Azure DevOps Git Repository

• انتشار Data Factory برای Azure DevOps Publishing the Data Factory to Azure DevOps

• سخنان پایانی Closing Remarks

بلع رویداد محور Event-Driven Ingestion

• معرفی Introduction

• از Azure Storage Plan بخوانید Read from Azure Storage Plan

• کانتینر مالی ایجاد کنید و فایل‌ها را آپلود کنید Create Finance Container and Upload Files

• مجموعه داده منبع را ایجاد کنید Create Source Dataset

• به Data Lake - Raw Plan بنویسید Write to Data Lake - Raw Plan

• کانتینر و فهرست راهنماهای مالی ایجاد کنید Create Finance Container and Directories

• مجموعه داده سینک را ایجاد کنید Create Sink Dataset

• طرح خط لوله کارخانه داده Data Factory Pipeline Plan

• Data Factory را ایجاد کنید و متادیتا را بخوانید Create Data Factory and Read Metadata

• افزودن فیلتر بر اساس CSV Add Filter by CSV

• مجموعه داده ها را به فایل های خواندنی اضافه کنید Add Dataset to Read Files

• برای هر فعالیت فایل CSV و تست جذب را اضافه کنید Add the For Each CSV File Activity and Test Ingestion

• افزودن طرح محرک مبتنی بر رویداد Adding the Event-Based Trigger Plan

• Event Grid Provider را فعال کنید Enable the Event Grid Provider

• فایل را حذف کنید و تریگر مبتنی بر رویداد را اضافه کنید Delete File and Add Event-Based Trigger

• ایجاد تریگر مبتنی بر رویداد Create Event-Based Trigger

• کد را در شعبه اصلی منتشر کنید و تریگر را شروع کنید Publish Code to Main Branch and Start Trigger

• محرک مبتنی بر رویداد Trigger Event-Based Ingestion

• سخنان پایانی Closing Remarks