آموزش ساخت خطوط لوله مهندسی داده با کارخانه داده Azure

سرفصل ها و درس ها

بررسی اجمالی دوره و راه اندازی Course Overview and Set Up

• بررسی اجمالی دوره Course Overview

• تجزیه و تحلیل داده های بزرگ Azure Azure Big Data Analytics

• راه اندازی حساب Azure Azure Account Set Up

• مروری بر رابط کاربری Azure و ایجاد اشتراک شما Azure UI Overview and Creating Your Subscription

• خدمات و مناطق Services and Regions

• نامگذاری قراردادها و ایجاد گروه منابع دوره Naming Conventions and Creating the Course Resource Group

• مدیریت هزینه و قیمت گذاری Cost Management and Pricing

• پیوندها و منابع Links and Resources

بررسی اجمالی دوره و راه اندازی Course Overview and Set Up

Azure Storage Azure Storage

• بررسی اجمالی راه حل های ذخیره سازی Azure Azure Storage Solutions Overview

• طبقه بندی داده ها Classification of Data

• فرمت های فایل پشتیبانی شده از ADF ADF Supported File Formats

• دانلود و مرور کلی مجموعه داده سفارشات مشتری Customer Orders Dataset Download and Overview

• طرحی برای دریاچه داده Blueprint for the Data Lake

• ایجاد حساب ذخیره سازی Storage Account Creation

• ایجاد کانتینر و آپلود فایل Container Creation and File Upload

• پیوندها و منابع Links and Resources

Azure Storage Azure Storage

ADF - نمای کلی و تنظیم ADF - Overview and Set Up

• بررسی اجمالی کارخانه داده Azure Azure Data Factory Overview

• ایجاد منبع ADF ADF Resource Creation

• نمای کلی رابط کاربری و اجزای ADF ADF User Interface and Components Overview

• پیوندها و منابع Links and Resources

ADF - نمای کلی و تنظیم ADF - Overview and Set Up

حرکت داده ها Data Movement

• کپی نمای کلی فعالیت Copy Activity Overview

• هدف بخش Section Objective

• فعالیت کپی - سفارش موارد قسمت 1 (سرویس‌های مرتبط و مجموعه داده‌های منبع/سینک) Copy Activity - Order Items Part 1 (Linked Services and Source/Sink Datasets)

• Copy Activity - Order Items Part 2 (Copy Activity and Pipeline) Copy Activity - Order Items Part 2 (Copy Activity and Pipeline)

• فعالیت کپی - مشتریان JSON Copy Activity - Customers JSON

• فعالیت کپی - سفارش پارکت Copy Activity - Orders Parquet

• فعالیت کپی - فروشگاه ها و محصولات JSON Copy Activity - Stores and Products JSON

• سازماندهی اشیاء کارخانه داده در پوشه ها Organising Data Factory Objects in Folders

• فعالیت های زنجیره ای Chaining Activities

• کار با چندین فایل به عنوان منبع و رفتار کپی Working with Multiple Files as a Source and Copy Behaviour

• پیوندها و منابع Links and Resources

حرکت داده ها Data Movement

تبدیل داده ها Data Transformation

• بررسی اجمالی جریان داده Data Flow Overview

• هدف بخش Section Objective

• دمو جریان داده و رابط کاربری Data Flow Demo and User Interface

• اشکال زدایی جریان داده (قیمت گذاری) Data Flow Debug (Pricing)

• اشکال زدایی جریان داده (محدودیت ردیف) Data Flow Debug (Row Limit)

• پارتیشن بندی منبع و سینک Source and Sink Partitioning

• Transformation را انتخاب کنید Select Transformation

• تبدیل بازیگران Cast Transformation

• پیش بینی واردات Import Projection

• تبدیل ستون مشتق شده Derived Column Transformation

• نیاز به جریان داده خام تا پاک شده Raw to Cleansed Data Flow Requirement

• بررسی جریان داده خام تا پاکسازی شده Raw to Cleansed Data Flow Walkthrough

• مجموعه داده های پارتیشن بندی شده Partitioned Datasets

• تبدیل ها را فیلتر و مرتب کنید Filter and Sort Transformations

• تبدیل کل Aggregate Transformation

• به Transformation بپیوندید Join Transformation

• انشعاب شرطی و تبدیل اتحادیه Conditional Split and Union Transformations

• به نیاز جریان داده ساختاریافته پاک شده است Cleansed to Structured Data Flow Requirement

• پاکسازی شده به مرور جریان داده ساختاریافته Cleansed to Structured Data Flow Walkthrough

• ساختاری برای تجزیه و تحلیل جریان داده مورد نیاز Structured to Analytics Data Flow Requirement

• ساختار یافته به تجزیه و تحلیل گردش داده ها Structured to Analytics Data Flow Walkthrough

• پیوندها و منابع Links and Resources

تبدیل داده ها Data Transformation

برنامه ریزی و زنجیربندی خطوط لوله برای اجرا Scheduling and Chaining Pipelines for Execution

• اجرای فعالیت خط لوله Execute Pipeline Activity

• جلسه اشکال زدایی جریان داده در مقابل زمان اجرا فعالیت Data Flow Debug Session vs Activity Runtime

• محرک های برنامه ریزی Schedule Triggers

• راه‌اندازی رویدادهای ذخیره‌سازی Storage Events Trigger

• محرک های پنجره غلتشی Tumbling Window Triggers

• پیوندها و منابع Links and Resources

برنامه ریزی و زنجیربندی خطوط لوله برای اجرا Scheduling and Chaining Pipelines for Execution

کنترل جریان، پارامترها و متغیرها Control Flow, Parameters and Variables

• آماده سازی دریاچه داده Data Lake Preparation

• حذف فعالیت Delete Activity

• دریافت فعالیت فراداده Get Metadata Activity

• فعالیت جستجو Lookup Activity

• If Condition and Switch Activities If Condition and Switch Activities

• مقدمه ای بر پارامترها در ADF Introduction to Parameters in ADF

• مقدمه ای بر متغیرها در ADF Introduction to Variables in ADF

• برای هر فعالیت ForEach Activity

• رویکرد مبتنی بر فراداده (مثال) Metadata Based Approach (Example)

• فعالیت پروژه دوره: مجموعه داده های پویا و ساختار پوشه Course Project Activity: Dynamic Datasets and Folder Structure

• پیوندها و منابع Links and Resources

کنترل جریان، پارامترها و متغیرها Control Flow, Parameters and Variables

پایگاه داده Azure SQL برای داده های ساختاریافته Azure SQL Database for Structured Data

• نمای کلی بخش Section Overview

• ایجاد منبع Azure SQL ما Creating our Azure SQL Resource

• ایجاد طرحواره و جداول ما Creating our Schema and Tables

• افزودن یک ستون شناسه منحصر به فرد به داده های سفارشات ساخت یافته Adding a Unique Identifier Column to Structured Orders Data

• ایجاد سرویس پیوندی و مجموعه داده برای SQL Creating Linked Service and Datasets for SQL

• نکته مهم در مورد مجموعه داده های پویا Important Note Regarding the Dynamic Datasets

• کپی فعالیت با SQL Sink Copy Activity with SQL Sink

• جریان داده با SQL Sink Data Flow with SQL Sink

• فعالیت پروژه دوره: ذخیره سازی داده های ساخت یافته ما در پایگاه داده SQL Course Project Activity: Storing our Structured Data in the SQL Database

• پیوندها و منابع Links and Resources

پایگاه داده Azure SQL برای داده های ساختاریافته Azure SQL Database for Structured Data

محرک های پنجره غلتشی Tumbling Window Triggers

• بررسی اجمالی محرک های پنجره غلتشی Tumbling Window Triggers Overview

• دریافت داده برای فواصل زمانی خاص Ingest Data for Specific Time Intervals

• وابستگی های ماشه پنجره غلتشی Tumbling Window Trigger Dependencies

• پیوندها و منابع Links and Resources

محرک های پنجره غلتشی Tumbling Window Triggers

احراز هویت و دسترسی Authentication and Access

• بررسی اجمالی Overview

• خرک کلید لاجوردی Azure Key Vault

• شناسه های مدیریت شده اختصاص داده شده به سیستم System Assigned Managed Identities

• شناسه های مدیریت شده توسط کاربر User Assigned Managed Identities

• مدیران خدمات Service Principals

• کنترل دسترسی دقیق برای حساب‌های ذخیره‌سازی Fine Grained Access Control for Storage Accounts

• پیوندها و منابع Links and Resources

احراز هویت و دسترسی Authentication and Access