آموزش DP-203: مایکروسافت خبره Azure Data Engineer Associate

سرفصل ها و درس ها

معرفی Introduction

• معرفی دوره Course Introduction

• مهم - به‌روزرسانی نکات و بررسی Udemy Important - Udemy Tips & Review Update

• مواد درسی Course Materials

مبانی داده ها Basics of Data

• داده‌های ساختاریافته در مقابل داده‌های غیرساخت‌یافته در مقابل نیمه‌ساختار یافته Structured vs Unstructured vs Semi-Structured Data

• داده های دسته ای در مقابل جریان Batch vs Streaming Data

• OLTP در مقابل OLAP OLTP vs OLAP

• دریاچه داده در مقابل انبار داده Data Lake vs Data Warehouse

• گردش کار مهندسی داده Data Engineering Workflow

• آزمون بخش Section Quiz

خدمات پایه Azure Azure Basic Services

• اکانت Azure ایجاد کنید Create Azure Account

• حساب، اشتراک، گروه های منابع و منابع Account, Subscription, Resources Groups & Resources

• راه های مختلف برای دسترسی به Azure Different Ways to Access Azure

• Azure Portal Walkthrough Azure Portal Walkthrough

• آماده شدن با Azure CLI Getting Ready with Azure CLI

• Azure Cloud Shell Azure Cloud Shell

• VM را از پورتال ایجاد کنید Create VM from Portal

• VM را از CLI ایجاد کنید Create VM From CLI

• آزمون بخش Section Quiz

Azure Storage Azure Storage

• خدمات مختلف برای Azure Storage Different Services for Azure Storage

• پلت فرم ذخیره سازی Azure Azure Storage Platform

• ارائه حساب ذخیره سازی Azure Provision Azure Storage Account

• اکانت Azure Storage را کاوش کنید Explore Azure Storage Account

• Azure Blob Storage چیست؟ What is Azure Blob Storage

• قسمت 1 ذخیره سازی حباب Azure را کاوش کنید Explore Azure Blob Storage Part 1

• قسمت 2 ذخیره‌سازی Azure Blob را کاوش کنید Explore Azure Blob Storage Part 2

• تکثیر داده ها در فضای ذخیره سازی Data Replication in Storage

• Failover دستی Manual Failover

• سطح دسترسی لکه Blob Access Tier

• حساب ذخیره سازی ایمن Secure Storage Account

• میز لاجوردی Azure Table

• صف لاجوردی Azure Queue

• اشتراک فایل Azure Azure File Share

• Azure Disk Storage Azure Disk Storage

• مقدمه ای بر Azure Data Lake Gen 2 Introduction to Azure Data Lake Gen 2

• مدیریت چرخه حیات Lifecycle Management

• Azure Storage Explorer Azure Storage Explorer

• آزمون بخش Section Quiz

• آزمون بخش 2 Section Quiz 2

پایگاه داده Azure SQL Azure SQL Database

• مقدمه ای بر پایگاه داده Azure SQL Introduction to Azure SQL Database

• پیشنهاد Azure SQL IaaS & PaaS Azure SQL IaaS & PaaS Offering

• استقرار مختلف Paas Different Paas Deployment

• [Hands-On] پایگاه داده Azure SQL قسمت 1 [Hands-On] Azure SQL Database Part 1

• [Hands On] پایگاه داده Azure SQL قسمت 2 [Hands-On] Azure SQL Database Part 2

• [Hands-On] پایگاه داده Azure SQL قسمت 3 [Hands-On] Azure SQL Database Part 3

• [Hands-On] پایگاه داده Azure SQL قسمت 4 [Hands-On] Azure SQL Database Part 4

• مدل قیمت گذاری SQL و ردیف خدمات SQL Pricing Model & Service Tier

• آزمون بخش Section Quiz

راه حل Azure NoSQL: CosmosDB Azure NoSQL Solution : CosmosDB

• مقدمه ای بر Azure Cosmos DB Introduction to Azure Cosmos DB

• API ها در Azure Cosmos DB APIs in Azure Cosmos DB

• Azure Cosmos DB برای NoSQL Azure Cosmos DB for NoSQL

• اجزای Azure Cosmos DB برای NoSQL Components of Azure Cosmos DB for NoSQL

• آزمون بخش Section Quiz

راه حل Azure NoSQL: CosmosDB قسمت 2 Azure NoSQL Solution : CosmosDB Part 2

• Lab1: ایجاد حساب DB Azure Cosmos برای NoSQL قسمت 1 Lab1: Creating Azure Cosmos DB Account for NoSQL Part 1

• Lab1: ایجاد حساب DB Azure Cosmos برای NoSQL قسمت 2 Lab1: Creating Azure Cosmos DB Account for NoSQL Part 2

• Lab1: ایجاد حساب DB Azure Cosmos برای NoSQL قسمت 3 Lab1: Creating Azure Cosmos DB Account for NoSQL Part 3

• نمای کلی: حساب DB Azure Cosmos برای NoSQL Overview: Azure Cosmos DB Account for NoSQL

• آزمایشگاه 2: ایجاد یک پایگاه داده قسمت 1 Lab 2: Creating a Database Part 1

• آزمایشگاه 2: ایجاد یک پایگاه داده قسمت 2 Lab 2: Creating a Database Part 2

• آزمایشگاه 3: ایجاد یک ظرف Lab 3: Creating a Container

• آزمایشگاه 4: افزودن اقلام به کانتینر Lab 4: Adding Items to Container

• واحدهای درخواستی Request Units

• درک Thoughput Understand Throughput

• مدیریت هزینه Cost Management

• Cosmos DB - به صورت افقی مقیاس پذیر Cosmos DB - Horizontally Scalable

• پارتیشن و کلید پارتیشن Partition and Partition Key

• Single vs Cross Partition Single vs Cross Partition

• از پارتیشن های داغ خودداری کنید Avoid Hot Partitions

• زمان برای زندگی (TTL) Time-to-Live (TTL)

• حالت ظرفیت بدون سرور Serverless Capacity Mode

• بدون سرور در مقابل توان عملیاتی ارائه شده Serverless vs Provisioned Throughput

• مقیاس خودکار در مقابل توان عملیاتی استاندارد Autoscale vs Standard Throughput

• قیمت گذاری Azure CosmosDB Azure CosmosDB Pricing

• آزمون بخش Section Quiz

Azure Data Factory: شروع به کار Azure Data Factory: Getting Started

• مقدمه ای بر Azure Data Factory Introduction to Azure Data Factory

• ایجاد حساب کارخانه داده Create Data Factory Account

• بررسی اجمالی استودیو کارخانه داده Azure Azure Data Factory Studio Overview

• خطوط لوله و فعالیت ها Pipelines and Activities

• ایجاد حساب ذخیره سازی و کانتینرها Create Storage Account & Containers

• مقدمه ای بر خدمات و مجموعه داده های پیوندی Introduction to Linked Services & Dataset

• Create Pipeline: Copy Data Activity Part 1 Create Pipeline: Copy Data Activity Part 1

• Create Pipeline: Copy Data Activity Part 2 Create Pipeline: Copy Data Activity Part 2

• خط لوله اشکال زدایی و ماشه Debug & Trigger Pipeline

• پیشوند، حروف عام، فهرست فایل ها Prefix , Wildcard, List of Files

• محرک ها: مقدمه Triggers: Introduction

• ماشه زمانبندی Schedule Trigger

• محرک رویداد ذخیره سازی Storage Event Trigger

• یکپارچه سازی زمان اجرا: مقدمه Integration Runtime: Introduction

• Azure Integration Runtime Azure Integration Runtime

• زمان اجرا یکپارچه میزبانی خود بخش 1 Self-Hosted Integration Runtime Part 1

• زمان اجرا یکپارچه میزبانی خود بخش 2 Self-Hosted Integration Runtime Part 2

• به اشتراک گذاری زمان اجرا یکپارچه میزبانی خود Sharing Self-hosted Integration Runtime

• پارامترها و متغیرهای خط لوله: مقدمه Pipeline Parameters and Variables: Introduction

• خطوط لوله و مجموعه داده را پارامتر کنید Parameterize Pipelines & Datasets

• پارامترهای خدمات مرتبط Parameterize Linked Services

• متغیرهای سیستم System Variables

• اتصال دهنده ها Connectors

• فعالیت داده کپی: عمومی، نقشه برداری Copy Data Activity: General, Mapping

• Copy Data Activity: تنظیمات و ویژگی های کاربر Copy Data Activity: Settings and User Properties

• حذف فعالیت Delete Activity

• آزمون بخش Section Quiz

• آزمون بخش 2 Section Quiz 2

Azure Data Factory: Control Flow Activities Azure Data Factory: Control Flow Activities

• تنظیم فعالیت متغیر Set Variable Activity

• افزودن فعالیت متغیر Append Variable Activity

• دریافت فعالیت فراداده Get Metadata Activity

• اجرای فعالیت خط لوله Execute Pipeline Activity

• فعالیت شکست خورده Fail Activity

• فعالیت انتظار Wait Activity

• برای هر فعالیت For Each Activity

• اگر شرایط فعالیت If Condition activity

• فعالیت وب و هوک Web & WebHook Activity

• سوئیچ فعالیت Switch Activity

• فعالیت اعتبارسنجی و جستجو Validation & Lookup Activity

• فعالیت فیلتر Filter Activity

• تا فعالیت Until Activity

• تنظیم فعالیت ارزش بازگشتی خط لوله Set Pipeline Return Value Activity

• آزمون بخش Section Quiz

Azure Data Factory: شروع به کار با DataFlow Azure Data Factory: Getting Started with DataFlow

• مقدمه ای بر DataFlow Introduction to DataFlow

• [دستی] DataFlow Activity Part - 1 [Hands-on] DataFlow Activity Part - 1

• [Hands-on] DataFlow Activity Part - 2 [Hands-on] DataFlow Activity Part - 2

• [دستی] فعالیت DataFlow بخش - 3 [Hands-on] DataFlow Activity Part - 3

• دریفت طرحواره در نگاشت جریان داده [Hands-On] Schema Drift in Mapping Data Flow

• [Hands On] اعتبارسنجی طرحواره در نگاشت جریان داده [Hands-On] Validate Schema in Mapping Data Flow

• [دست روی] تبدیل ستون مشتق شده بخش - 1 [Hands-On] Derived Column Transformation Part - 1

• [دست روی] تبدیل ستون مشتق شده قسمت - 2 [Hands-On] Derived Column Transformation Part - 2

• [دست روی] الگوهای ستون در نقشه برداری جریان داده [Hands-On] Column patterns in Mapping Data Flow

• [دستی] فلولت ها در نقشه برداری جریان داده [Hands-On] Flowlets in Mapping Data Flow

• [Hands-On] توابع تعریف شده توسط کاربر در Mapping Data Flow [Hands-On] User defined functions in Mapping Data Flow

• [Hands On] Power Query Activity [Hands-On] Power Query Activity

Azure Data Factory: Data Flow Transformations Azure Data Factory: Data Flow Transformations

• [Hands-On] فیلتر، تجمع و تبدیل پیوستن [Hands-On] Filter, Aggregate & Join Transformation

• [Hands-On] Fuzzy Join Transformation [Hands-On] Fuzzy Join Transformation

• [Hands-On] تبدیل تقسیم شرطی [Hands-On] Conditional Split Transformation

• [Hands-On] تحول وجود دارد [Hands-On] Exists Transformation

• [دست روی] تحول اتحادیه [Hands-On] Union Transformation

Azure Synapse Analytics: شروع به کار Azure Synapse Analytics: Getting Started

• مقدمه ای بر Azure Synapse Analytics Introduction to Azure Synapse Analytics

• فضای کاری Azure Synapse Analytics ایجاد کنید Create Azure Synapse Analytics Workspace

• Azure Synapse Studio Overview قسمت 1 Azure Synapse Studio Overview Part 1

• Azure Synapse Studio Overview قسمت 2 Azure Synapse Studio Overview Part 2

• مفاهیم اساسی در تجزیه و تحلیل Azure Synapse قسمت 1 Basic Concepts in Azure Synapse Analytics Part 1

• مفاهیم پایه در تجزیه و تحلیل Azure Synapse قسمت 2 Basic Concepts in Azure Synapse Analytics Part 2

• [Hands-On] تجزیه و تحلیل داده ها با استخر SQL بدون سرور قسمت 1 [Hands-On] Analyze Data with a Serverless SQL Pool Part 1

• [Hands-On] تجزیه و تحلیل داده ها با استخر SQL بدون سرور قسمت 2 [Hands-On] Analyze Data with a Serverless SQL Pool Part 2

• [Hands-On] تجزیه و تحلیل داده ها با استخر SQL بدون سرور قسمت 3 [Hands-On] Analyze Data with a Serverless SQL Pool Part 3

• [Hands On] تجزیه و تحلیل داده ها با یک استخر SQL بدون سرور قسمت 4 [Hands-On] Analyze Data with a Serverless SQL Pool Part 4

• [Hands-On] تجزیه و تحلیل داده ها با استخر SQL بدون سرور قسمت 5 [Hands-On] Analyze Data with a Serverless SQL Pool Part 5

• [Hands On] تجزیه و تحلیل داده‌ها با SQL Pool اختصاصی قسمت 1 [Hands-On] Analyze Data with Dedicated SQL Pool Part 1

• تجزیه و تحلیل داده ها با استخر اختصاصی SQL قسمت 2 [Hands-On] Analyze Data with Dedicated SQL Pool Part 2

• [Hands On] تجزیه و تحلیل داده ها با اختصاصی SQL Pool قسمت 3 [Hands-On] Analyze Data with Dedicated SQL Pool Part 3

• [Hands On] تجزیه و تحلیل داده ها با اختصاصی SQL Pool قسمت 4 [Hands-On] Analyze Data with Dedicated SQL Pool Part 4

• [Hands-On] داده‌ها را با Spark Pool بدون سرور قسمت 1 تجزیه و تحلیل کنید [Hands-On] Analyze data with Serverless Spark Pool Part 1

• [Hands-On] داده ها را با Spark Pool قسمت 2 بدون سرور تجزیه و تحلیل کنید [Hands-On] Analyze data with Serverless Spark Pool Part 2

• [Hands On] تجزیه و تحلیل داده ها با Spark Pool بدون سرور قسمت 3 [Hands-On] Analyze data with Serverless Spark Pool Part 3

• تجزیه و تحلیل داده ها در حساب ذخیره سازی [Hands-On] Analyze Data in Storage Account

• [Hands-On] ادغام با Pipelines قسمت 1 [Hands-On] Integrate with Pipelines Part 1

• [Hands On] ادغام با Pipelines قسمت 2 [Hands-On] Integrate with Pipelines Part 2

• مانیتور Synapse Workspace قسمت 1 Monitor Synapse Workspace Part 1

• مانیتور Synapse Workspace قسمت 2 Monitor Synapse Workspace Part 2

• مرکز دانش سیناپس را کاوش کنید Explore Synapse Knowledge Center

• آزمون بخش Section Quiz

Azure Synapse Analytics قسمت 2 Azure Synapse Analytics Part 2

• Azure Synapse SQL Architecture Azure Synapse SQL Architecture

• توزیع ها (Hash، Round Robbin و Replicate) Distributions(Hash, Round Robbin & Replicate)

• نمای کلی: استخر SQL بدون سرور Overview: Serverless SQL pool

• نمای کلی: SQL Pool اختصاصی (SQL DW سابق) Overview: Dedicated SQL Pool (Formerly SQL DW)

• مقدمه ای بر جداول خارجی در Synapse SQL Introduction to External Tables in Synapse SQL

• [Hands-On] منبع داده خارجی ایجاد کنید [Hands-On] Create External Data Source

• [Hands-On] فرمت فایل خارجی ایجاد کنید [Hands-On] Create External File Format

• [Hands On] CETAS با Synapse SQL [Hands-On] CETAS with Synapse SQL

• [Hands On] CETAS با Synapse SQL (مدارک اعتباری: هویت مدیریت شده) [Hands-On] CETAS with Synapse SQL (Scoped Credentials: Managed Identity)

• [Hands On] CTAS با Synapse SQL قسمت 1 [Hands-On] CTAS with Synapse SQL Part 1

• [Hands On] CTAS با Synapse SQL قسمت 2 [Hands-On] CTAS with Synapse SQL Part 2

• [Hands-On] SELECT INTO در مقابل CTAS [Hands-On] SELECT INTO vs CTAS

• [Hands-On] برای کپی کردن جدول از CTAS استفاده کنید [Hands-On] Use CTAS to Copy Table

• [Hands-On] جدول خارجی Hadoop را در استخر اختصاصی SQL ایجاد کنید [Hands-On] Create Hadoop External Table in Dedicated SQL Pool

• [Hands-On] جداول خارجی بومی را در استخر SQL اختصاصی ایجاد کنید [Hands-On] Create Native External Tables in Dedicated SQL Pool

• [Hands On] میزهای خارجی Native در مقابل Hadoop [Hands-On] Native vs Hadoop External Tables

• [Hands-On] با استفاده از بیانیه CTAS [Hands-On] Using CTAS Statement

• [Hands-On] جدول خارجی بومی را در استخر SQL بدون سرور ایجاد کنید [Hands-On] Create Native External Table in Serverless SQL Pool

• [Hands On] اختصاصی SQL Pool: ایجاد و جستجوی جدول خارجی از یک فایل در ADLS [Hands-On] Dedicated SQL Pool: Create & Query External Table from a File in ADLS

• [Hands On] SQL Pool بدون سرور: جدول خارجی را از فایل در ADLS ایجاد و جستجو کنید [Hands-On] Serverless SQL Pool: Create & Query External Table from File in ADLS

• حساب های اداری در Synapse SQL Administrative accounts in Synapse SQL

• دانلود و نصب SQL Server Management Studio (SSMS) Download & Install SQL Server Management Studio (SSMS)

• [Hands-On] ایجاد ورود و کاربر برای SQL Pool بدون سرور [Hands-On] Create Login & User for Serverless SQL Pool

• [Hands-On] ایجاد ورود و کاربر برای اختصاصی SQL Pool [Hands-On] Create Login & User for Dedicated SQL Pool

• جداول موقت در Synapse SQL [Hands-On] Temporary Tables in Synapse SQL

• [Hands-On] ویژگی IDENTITY: ایجاد جدول با ستون IDENTITY [Hands-On] IDENTITY Property: Creating a Table with an IDENTITY Column

• ویژگی [Hands-On] IDENTITY: درج صریح مقادیر و بارگیری داده ها [Hands-On] IDENTITY Property: Explicitly Inserting Values & Loading Data

• ویژگی [Hands On] IDENTITY: نمایش های سیستم و وظایف مشترک [Hands-On] IDENTITY Property: System Views & Common Tasks

• IDENTITY ویژگی: محدودیت ها IDENTITY Property: Limitations

• عملکرد OPENROWSET: خواندن فایل های csv و پارکت از Azure Storage OPENROWSET Function: Reading csv & parquet files from Azure Storage

• OPENROWSET: خواندن فایل ها از یک حساب ذخیره سازی دیگر OPENROWSET: Reading Files from another Storage Account

• OPENROWSET: تعیین چندین فایل/پوشه در مسیر BULK OPENROWSET: Specifying Multiple Files/Folders in BULK Path

• آزمون بخش 1 Section Quiz 1

• آزمون بخش 2 Section Quiz 2

شروع به کار Azure Databricks Getting Started Azure Databricks

• آشنایی با Azure Databricks Introduction to Azure Databricks

• ایجاد فضای کاری Azure Databricks Creating Azure Databricks Workspace

• کاوش فضای کاری و رابط کاربری Azure Databricks Exploring Azure Databricks Workspace & UI

• بررسی اجمالی معماری Databricks Azure Azure Databricks Architecture Overview

• [Hands On] ایجاد Cluster Databricks Azure [Hands-On] Creating Azure Databricks Cluster

• [Hands On] شروع به کار با Spark Part - 1 [Hands-On] Getting Started With Spark Part - 1

• [Hands On] شروع به کار با Spark Part - 2 [Hands-On] Getting Started With Spark Part - 2

• تجزیه و تحلیل داده ها با استفاده از Spark Part 1 [Hands-on] Analyse Data Using Spark Part 1

• تجزیه و تحلیل داده ها با استفاده از Spark Part 2 [Hands-on] Analyse Data Using Spark Part 2

• تجزیه و تحلیل داده ها با استفاده از Spark Part 3 [Hands-on] Analyse Data Using Spark Part 3

• آزمون بخش Section Quiz

دریاچه دلتا و انبار داده در Azure Databricks Delta Lake & Data warehouse in Azure Databricks

• آشنایی با دریاچه دلتا Introduction to Delta Lake

• [دستی] دریاچه دلتا در Azure Databricks قسمت - 1 [Hands-on] Delta Lake in Azure Databricks Part - 1

• [دستی] دریاچه دلتا در Azure Databricks قسمت - 2 [Hands-on] Delta Lake in Azure Databricks Part - 2

• [دستی] دریاچه دلتا در آژور دیتابریکس قسمت - 3 [Hands-on] Delta Lake in Azure Databricks Part - 3

• [دستی] ایجاد انبار SQL [Hands-on] Create SQL Warehouse

• [دستی] از انبار SQL در Azure Databricks استفاده کنید [Hands-on] Use a SQL Warehouse in Azure Databricks

• [دستی] نوت بوک را از Azure Data Factory اجرا کنید [Hands-on] Run Notebook from Azure Data Factory

• آزمون بخش Section Quiz

تجزیه و تحلیل جریان Azure Azure Stream Analytics

• [Hands On] پردازش ورودی Blob Storage قسمت 1 [Hands-On] Processing Blob Storage Input Part 1

• [Hands On] پردازش ورودی Blob Storage قسمت 2 [Hands-On] Processing Blob Storage Input Part 2

• [Hands On] پردازش ورودی Blob Storage قسمت 3 [Hands-On] Processing Blob Storage Input Part 3

• [Hands On] پردازش ورودی IoT Hub قسمت 1 [Hands-On] Processing IoT Hub Input Part 1

• [Hands-On] پردازش ورودی IoT Hub قسمت 2 [Hands-On] Processing IoT Hub Input Part 2

• [Hands On] پردازش رویداد هاب ورودی قسمت 1 [Hands-On] Processing Event Hub Input Part 1

• [Hands On] پردازش رویداد هاب ورودی قسمت 2 [Hands-On] Processing Event Hub Input Part 2

• [کاربردی] استریمینگ را با Synapse Analytics بخش - 1 ادغام کنید [Hands-on] Integrate Streaming with Synapse Analytics Part - 1

• [کاربردی] استریمینگ را با Synapse Analytics بخش - 2 ادغام کنید [Hands-on] Integrate Streaming with Synapse Analytics Part - 2

• [کاربردی] استریمینگ را با Synapse Analytics بخش - 3 ادغام کنید [Hands-on] Integrate Streaming with Synapse Analytics Part - 3

• آزمون بخش Section Quiz

با تشکر از شما و راه رو به جلو Thanks you & Way Forward

• راه رو به جلو Way Forward

سخنرانی پاداش Bonus Lecture

• پاداش: تخفیف برای دوره های بیشتر Bonus: Discounts for More Courses