آموزش 2 پروژه Azure Data Engineer Real World World End to End

پروژه 1: وسایل نقلیه هوشمند Project 1: Smart Vehicles

• درک مورد استفاده از سیستم خودرو Understand the Vehicle System Use Case

• درک مورد استفاده از سیستم خودرو Understand the Vehicle System Use Case

• ایجاد نمودار معمار برای وسایل نقلیه راه حل مهندسی داده Create Architect Diagram for Vehicles Data engineering Solution

• ایجاد نمودار معمار برای وسایل نقلیه راه حل مهندسی داده Create Architect Diagram for Vehicles Data engineering Solution

• آزمایشگاه عملی: سطل S3 را در حساب AWS ایجاد کنید و داده ها را آپلود کنید. Practical Lab: Create S3 bucket in the AWS Account and upload data.

• آزمایشگاه عملی: ایجاد حساب ذخیره سازی ADLS (پوشه فرود) Practical Lab: Create ADLS Storage account(Landing Folder)

• آزمایشگاه عملی: ایجاد حساب کارخانه داده Azure برای خطوط لوله داده Practical Lab: Create Azure Data Factory Account For Data pipelines

• آزمایشگاه عملی: Azure Key Vault را ایجاد کنید و اسرار را اضافه کنید Practical Lab: Create Azure Key Vault and Add the secrets

• آزمایشگاه عملی: خط لوله پایان به انتهای خط لوله را با فعال کردن تریگرها ایجاد کنید Practical Lab: Create Pipeline End to end pipeline with triggers enabled

• آزمایشگاه عملی: عملکرد Azure را با منطق ماشه حباب ایجاد کنید Practical Lab: Create Azure Function with blob trigger logic

• عملکرد Azure: فرمت JSON را به روز کنید Azure Function: Update the JSON Format

• عملکرد Azure: فرمت JSON را به روز کنید Azure Function: Update the JSON Format

• سرور و پایگاه داده Azure SQL ایجاد کنید Create Azure SQL Server and Database

• آزمایشگاه عملی: خط لوله دیگری را برای انتقال داده ها از Staging به SQL DB اضافه کنید Practical Lab: Add another pipelines for moving data from Staging to SQL DB

• پایان به پایان تست End to End Testing

پروژه 1: وسایل نقلیه هوشمند Project 1: Smart Vehicles

• آزمایشگاه عملی: سطل S3 را در حساب AWS ایجاد کنید و داده ها را آپلود کنید. Practical Lab: Create S3 bucket in the AWS Account and upload data.

• آزمایشگاه عملی: ایجاد حساب ذخیره سازی ADLS (پوشه فرود) Practical Lab: Create ADLS Storage account(Landing Folder)

• آزمایشگاه عملی: ایجاد حساب کارخانه داده Azure برای خطوط لوله داده Practical Lab: Create Azure Data Factory Account For Data pipelines

• آزمایشگاه عملی: Azure Key Vault را ایجاد کنید و اسرار را اضافه کنید Practical Lab: Create Azure Key Vault and Add the secrets

• آزمایشگاه عملی: خط لوله پایان به انتهای خط لوله را با فعال کردن تریگرها ایجاد کنید Practical Lab: Create Pipeline End to end pipeline with triggers enabled

• آزمایشگاه عملی: عملکرد Azure را با منطق ماشه حباب ایجاد کنید Practical Lab: Create Azure Function with blob trigger logic

• سرور و پایگاه داده Azure SQL ایجاد کنید Create Azure SQL Server and Database

• آزمایشگاه عملی: خط لوله دیگری را برای انتقال داده ها از Staging به SQL DB اضافه کنید Practical Lab: Add another pipelines for moving data from Staging to SQL DB

• پایان به پایان تست End to End Testing

پروژه 2: پلتفرم داده AP Morgan Project 2: AP Morgan Data Platform

• پروژه 2: AP Morgan Data Platform معرفی Project 2: AP Morgan Data Platform Introduction

• پروژه 2: AP Morgan Data Platform معرفی Project 2: AP Morgan Data Platform Introduction

• پروژه 2: نمودار معماری Project 2: Architecture Diagram

• پروژه 2: نمودار معماری Project 2: Architecture Diagram

• آزمایشگاه عملی: حساب Azure Data Lake Storage ایجاد کنید و فایل‌های ورودی را رها کنید Practical Lab: Create Azure Data Lake Storage account and Drop input files

• آزمایشگاه عملی: حساب Azure Data Lake Storage ایجاد کنید و فایل‌های ورودی را رها کنید Practical Lab: Create Azure Data Lake Storage account and Drop input files

• آزمایشگاه عملی: ایجاد فضای کاری حساب Azure Databricks Practical Lab: Create Azure Databricks Account Workspace

• آزمایشگاه عملی: Azure SQL Server Practical Lab: Azure SQL Server

• آزمایشگاه عملی: Azure SQL Server Practical Lab: Azure SQL Server

• آزمایشگاه عملی: SQL DB را با SSMS متصل کنید و جدول MetaData/Schema ایجاد کنید Practical Lab: Connect SQL DB with SSMS and Create MetaData / Schema table

• آزمایشگاه عملی: Azure Key Vault برای حفظ رمز عبور سرور SQL و آزمایشگاه توکن SAS Practical Lab: Azure Key Vault to keep SQL server password and SAS token Lab

• آزمایشگاه عملی: Azure Key Vault برای حفظ رمز عبور سرور SQL و آزمایشگاه توکن SAS Practical Lab: Azure Key Vault to keep SQL server password and SAS token Lab

• آزمایشگاه عملی: یک محدوده اسرار در Databricks ایجاد کنید Practical Lab: Create a secrets scope in Databricks

• آزمایشگاه عملی: ایجاد Cluster در Azure Databricks Practical Lab: Create Cluster in Azure Databricks

• آزمایشگاه عملی: ایجاد Cluster در Azure Databricks Practical Lab: Create Cluster in Azure Databricks

• آزمایشگاه عملی: اضافه کردن دفترچه یادداشت در Databricks و پیاده سازی منطق تجاری Practical Lab: Add notebook in Databricks and Implement the Business Logic

• آزمایشگاه عملی: اضافه کردن دفترچه یادداشت در Databricks و پیاده سازی منطق تجاری Practical Lab: Add notebook in Databricks and Implement the Business Logic

• آزمایشگاه عملی: کارخانه داده Azure برای AP Morgan Practical Lab: Azure Data Factory For AP Morgan

• آزمایشگاه عملی: سرویس پیوند داده‌آبریک Azure را در ADF ایجاد کنید Practical Lab: Create Azure Databricks Linked Service in ADF

• آزمایشگاه عملی: خط لوله ADF را برای فراخوانی Notebook ایجاد کنید و جریان End to End را آزمایش کنید Practical Lab: Create ADF Pipeline to call Notebook and Test End to End Flow

پروژه 2: پلتفرم داده AP Morgan Project 2: AP Morgan Data Platform

• آزمایشگاه عملی: ایجاد فضای کاری حساب Azure Databricks Practical Lab: Create Azure Databricks Account Workspace

• آزمایشگاه عملی: SQL DB را با SSMS متصل کنید و جدول MetaData/Schema ایجاد کنید Practical Lab: Connect SQL DB with SSMS and Create MetaData / Schema table

• آزمایشگاه عملی: یک محدوده اسرار در Databricks ایجاد کنید Practical Lab: Create a secrets scope in Databricks

• آزمایشگاه عملی: کارخانه داده Azure برای AP Morgan Practical Lab: Azure Data Factory For AP Morgan

• آزمایشگاه عملی: سرویس پیوند داده‌آبریک Azure را در ADF ایجاد کنید Practical Lab: Create Azure Databricks Linked Service in ADF

• آزمایشگاه عملی: خط لوله ADF را برای فراخوانی Notebook ایجاد کنید و جریان End to End را آزمایش کنید Practical Lab: Create ADF Pipeline to call Notebook and Test End to End Flow

قدم زدن سریع در کارخانه داده Azure Azure Data Factory Quick Walk through

• Azure Data Factory معرفی Azure Data Factory Introduction

• آزمایشگاه: اولین خط لوله ADF خود را ایجاد کنید Lab: Create Your First ADF Pipeline

• آزمایشگاه: اولین خط لوله ADF خود را ایجاد کنید Lab: Create Your First ADF Pipeline

• آزمایشگاه: مجموعه داده پارامتری شده در ADF Lab: Parameterized Dataset in ADF

• آزمایشگاه: مجموعه داده پارامتری شده در ADF Lab: Parameterized Dataset in ADF

قدم زدن سریع در کارخانه داده Azure Azure Data Factory Quick Walk through

• Azure Data Factory معرفی Azure Data Factory Introduction

Intergration Runtime و Triggers Azure Data Factory Intergration Runtime and Triggers Azure Data Factory

• یکپارچه سازی زمان اجرا Integration Runtime

• یکپارچه سازی زمان اجرا Integration Runtime

• آزمایشگاه: ماشه زمانبندی در ADF Lab: Schedule Trigger in ADF

• آزمایشگاه: ماشه زمانبندی در ADF Lab: Schedule Trigger in ADF

• آزمایشگاه: ماشه پنجره غلتشی در ADF Lab: Tumbling Window Trigger in ADF

• Lab: Storage Event Trigger در ADF Lab: Storage Event type Trigger in ADF

Intergration Runtime و Triggers Azure Data Factory Intergration Runtime and Triggers Azure Data Factory

• آزمایشگاه: ماشه پنجره غلتشی در ADF Lab: Tumbling Window Trigger in ADF

• Lab: Storage Event Trigger در ADF Lab: Storage Event type Trigger in ADF

جریان داده در ADF Data Flow in ADF

• جریان داده را در Azure Data Factory بیاموزید Learn Data Flow in Azure Data Factory

• جریان داده را در Azure Data Factory بیاموزید Learn Data Flow in Azure Data Factory

جریان داده در ADF Data Flow in ADF