آموزش کارخانه داده آزور + پروژه‌ی ETL جامع سیناپس آنالیتیکس - آخرین آپدیت

سرفصل ها و درس ها

مقدمه Introduction

• به دوره خوش آمدید Welcome to the course

• تمرکز اصلی و پیش‌نیازها Main Focus and Pre-requisites

• سرویس‌های مورد استفاده در این پروژه Services used in this project

• مروری بر پروژه Project Overview

• معماری پروژه Project Architecture

• بخش اضافی در مورد راه‌اندازی CICD برای Azure Data Factory Additional section on CICD setup for Azure Data Factory

• ساختار دوره Course Structure

• درک مجموعه داده OTT Understanding OTT dataset

• منابع Resources

• کد PySpark استفاده شده در نوت‌بوک PySpark Code used in the notebook

راه‌اندازی محیط Environment Setup

• راه‌اندازی محیط – مقدمه Environment setup - Intro

• ایجاد یک بودجه برای پروژه ما Creating a budget for our Project

• ایجاد یک گروه منبع Creating a resource group

• ایجاد یک Azure Data Factory Creating an Azure Data Factory

• ایجاد یک Azure Datalake Storage Gen2 Creating an Azure Datalake Storage Gen2

• ایجاد یک فضای کاری Azure Synapse Analytics Creating an Azure Synapse Analytics Workspace

• پیشنهاداتی در مورد صرفه‌جویی در هزینه‌ها برای Azure SQL Database Suggestion on Saving costs for Azure SQL Database

• ایجاد یک Azure SQL Database Creating an Azure SQL Database

• نصب Power BI Desktop Installing Power BI Desktop

دریافت داده Data Ingestion

• دریافت داده – مقدمه Data Ingestion - Intro

• دریافت داده – Integration Runtimes Data Ingestion - Integration Runtimes

• دریافت داده – Self Hosted Integration Runtime چیست؟ Data Ingestion - What is Self Hosted Integration Runtime

• مروری بر منبع داده محلی و Datalake Overview of On-premise data source and Datalake

• دانلود و نصب Self Hosted IR در محیط محلی Downloading and installing Self Hosted IR in On-premise Environment

• به‌روزرسانی – مشکل دسترسی به فایل‌های Self Hosted IR UPDATE - Self Hosted IR Files Access issue

• ایجاد و افزودن Secrets به Azure Key vault Creating and adding Secrets to Azure Key vault

• ایجاد Linked Service برای Azure Key vault – دمو Creating Linked Service for Azure Key vault - Demo

• ایجاد Linked Service و Dataset برای On-premise File Storage Creating Linked Service and Dataset for On-premise File Storage

• به‌روزرسانی – رفع مشکل دسترسی – ایجاد Azure VM و راه‌اندازی Self Hosted IR UPDATE -Fix access issue- Create Azure VM and install Self Hosted IR walkthrough

• به‌روزرسانی‌شده – رفع خطای 'host' مجاز نیست UPDATED- Fix 'host' is not allowed error

• ایجاد Linked Service و Dataset برای Azure Datalake Creating Linked Service and Dataset for Azure Datalake

• ایجاد Copy Activity برای کپی کردن تمام فایل‌ها از On-premise به Azure Datalake Creating Copy Activity to copy all files from On-premise to Azure Datalake

• بارگذاری داده افزایشی با استفاده از تاریخ آخرین اصلاح فایل Incremental data loading using Last Modified Date of File

• بارگذاری افزایشی بر اساس نام فایل – دمو Incremental Load based on File Name - Demo

• بارگذاری داده افزایشی بر اساس نام فایل – عملی Incremental Data loading based on Filename - Practical

تبدیل Transformation

• تبدیل – مقدمه Transformation - Intro

• Azure Synapse Analytics – مقدمه Azure Synapse Analytics - Introduction

• اختصاص Role برای Synapse در Azure Datalake – دمو Assigning Role for Synapse in Azure Datalake - Demo

• اختصاص Role و ایجاد linked service در Azure Synapse Analytics – عملی Assigning role and creating linked service in Azure Synapse Analytics- Practical

• ایجاد یک spark pool در Azure synapse analytics Creating s spark pool in Azure synapse analytics

• خواندن فایل‌های CSV از ADLS از Synapse Notebook – عملی Reading CSV files from ADLS from Synapse Notebook - Practical

• توقف دستی session spark برای صرفه‌جویی در هزینه Stop spark session manually to save cost

• شناسایی و حذف ردیف‌های تکراری – دمو Identify and delete duplicate rows - Demo

• شناسایی و حذف ردیف‌های تکراری – عملی Identify and remove duplicate rows - Practical

• شناسایی و حذف یا جایگزینی مقادیر NULL – دمو Identify and Remove or Replace NULL values - Demo

• شناسایی و حذف یا جایگزینی مقادیر NULL – عملی Identify and Remove or Replace NULL values - Practical

• ستون جدید بر اساس رتبه‌بندی IMDB – دمو New column based on IMDB Rating - Demo

• ستون جدید بر اساس رتبه‌بندی IMDB – عملی New column based on IMDB Rating - Practical

• ستون جدید بر اساس زمان اجرا بر حسب ساعت – دمو New column based on Runtime in Hours - Demo

• ستون جدید بر اساس زمان اجرا بر حسب ساعت – عملی New column based on Runtime in Hours - Practical

• فعالیت تمرینی برای ایجاد یک ستون جدید Practise Activity for creating a new column

• راه‌حل کد PySpark برای فعالیت تمرینی Solution PySpark code for Practise Activity

• تغییر انواع داده از String به Date Type – دمو Changing data types from String to Date Type- Demo

• تغییر String به Date Data Type – عملی Changing String to Date Data Type - Practical

• نوشتن داده‌های تبدیل‌شده به ADLS – دمو Writing transformed data to ADLS - Demo

• نوشتن داده‌های تبدیل‌شده به Datalake – عملی Writing transformed data to Datalake - Practical

• پایان کد نوشتن Transformation End of Writing Transformation Code

• فراخوانی Synapse Notebook Activity از Azure Data Factory – دمو Calling Synapse Notebook Activity from Azure Data Factory- Demo

• فراخوانی notebook Synapse از Azure Data Factory – عملی Calling Synapse notebook from Azure Data Factory - Practical

• تبدیل – نتیجه‌گیری Transformation - Conclusion

بارگذاری داده Data Loading

• بارگذاری داده – مقدمه بخش Data Loading - Section Intro

• نصب و دسترسی به Azure SQL Database از SSMS Installing and Accessing Azure SQL Database from SSMS

• بارگذاری داده در SQL Database – دمو Loading Data to SQL Database - Demo

• کپی کردن داده در SQL Database – عملی Copying data to SQL Database - Practical

• رفع خطا در Linked service هنگام ایجاد برای SQL Database Fix error in Linked service while creating for SQL Database

• نتیجه‌گیری Conclusion

افزایش‌ها Enchancements

• افزایش‌ها – مقدمه بخش Enhancements -Section Intro

• افزایش برای کپی داده از On-premise به ADLS – دمو Enhancement for Copy data from On-premise to ADLS- Demo

• افزایش برای کپی داده از On-premise – عملی Enhancement For Copy data from On-premise - Practical

• افزایش برای synapse notebook – دمو Enhancement for synapse notebook - Demo

• افزایش برای synapse notebook برای تبدیل فقط فایل‌های امروز Enhancement for synapse notebook to transform only todays file

ارکستراسیون Orchestration

• ارکستراسیون – مقدمه بخش Orchestration - Section Intro

• ارکستر کردن پایپلاین‌ها – دمو Orchestrating the pipelines- Demo

• ارکستر کردن تمام پایپلاین‌ها و تبدیل آن به یک پایپلاین خودکار – عملی Orchestrating all the pipelines and make it an automated pipeline - Practical

• ارسال یک اعلان ایمیل هشدار خودکار در صورت شکست پایپلاین در ADF – دمو Send an automatic alert email notification when pipeline failed in ADF - Demo

• ارسال یک اعلان ایمیل هشدار در صورت شکست پایپلاین – عملی Send an alert email notification when pipeline is failed - Practical

• اجرای تمام پایپلاین‌ها برای بارگذاری داده در SQL Executing all pipelines for loading data into SQL

گزارش‌دهی Reporting

• گزارش‌دهی بخش – مقدمه Reporting Section- Intro

• گزارش‌دهی داده‌ها در Power BI – عملی Reporting Data in Power BI - Practical

بخش اضافی – پیکربندی یکپارچه‌سازی مداوم و استقرار مداوم Additional Section - Configuring Continuous Integration Continuous deployment

• CICD – مقدمه CICD - Introduction

• یکپارچه‌سازی مداوم چیست؟ What is Continuous Integration

• استقرار مداوم چیست؟ What is Continuous Deployement

• CICD – قسمت - ۱ CICD- Part - 1

• CICD – قسمت - ۲ CICD - Part - 2

• CICD – قسمت - ۳ CICD - Part - 3

• CICD – قسمت - ۴ CICD - Part - 4

نتیجه‌گیری Conclusion

• نتیجه‌گیری دوره Conclusion for the course

• درس اضافی Bonus Lecture