آموزش DP-203: Azure Data Engineer Associate - مبتدی تا پیشرفته

سرفصل ها و درس ها

به دوره آموزشی DP-203 خوش آمدید Welcome to the Course DP-203

• مقدمه دوره DP-203 DP-203 Course Introduction

SQL و Data Fundamentals (برای مبتدیان) SQL and Data Fundamentals (For Beginners)

• توجه داشته باشید Note

• مقدمه ای بر پایگاه های داده Introduction to Databases

• OLTP در مقابل OLAP OLTP vs OLAP

• حساب رایگان Azure Azure Free Account

• حساب رایگان Azure ایجاد کنید Create Azure Free Account

• آزمایشگاه - ایجاد پایگاه داده Azure SQL در Azure Cloud Lab - Create Azure SQL Database in Azure Cloud

• آزمایشگاه - بیانیه SELECT Lab - SELECT Statement

• بیانیه آزمایشگاه - WHERE Lab - WHERE Statement

• آزمایشگاه - سفارش بر اساس بیانیه Lab - ORDER BY Statement

• آزمایشگاه - بیانیه متمایز Lab - DISTINCT Statement

• آزمایشگاه - بیانیه مورد Lab - CASE Statement

• آزمایشگاه - تجمیع در SQL Lab - Aggregations in SQL

• آزمایشگاه - گروه بر اساس بیانیه Lab - GROUP BY Statement

• آزمایشگاه - بیانیه داشتن Lab - HAVING Statement

• آزمایشگاه - در SQL می پیوندد Lab - JOINS in SQL

• آزمایشگاه - پرس و جوهای فرعی Lab - Sub Queries

• آزمایشگاه - پارتیشن توسط بیانیه Lab - PARTITION BY Statement

• آزمایشگاه - ایجاد جدول با استفاده از یک جدول موجود Lab - Create Table using an Existing Table

• آزمایشگاه - جدول ایجاد کنید و در آن قرار دهید Lab - CREATE TABLE and INSERT INTO

• SQL INDEX - مقدمه SQL INDEX - Introduction

• آزمایشگاه - شاخص خوشه ای Lab - Clustered Index

• آزمایشگاه - شاخص غیر خوشه ای Lab - Non-Clustered Index

• کلید اصلی در مقابل کلید خارجی Primary key Vs Foreign key

• جداول ابعاد و جداول واقعیت Dimension Tables and Fact Tables

Azure Synapse Analytics Azure Synapse Analytics

• مقدمه ای بر Azure Synapse Analytics Introduction to Azure Synapse Analytics

• مروری بر Azure Synapse Analytics Overview of Azure Synapse Analytics

• آزمایشگاه - یک فضای کاری Synapse Analytics ایجاد کنید Lab - Create a Synapse Analytics Workspace

• آزمایشگاه - تور در Azure Synapse Analytics Lab - Tour in Azure Synapse Analytics

Azure Synapse اختصاصی SQL Pool Azure Synapse Dedicated SQL Pool

• مقدمه ای بر Dedicated SQL Pool Introduction to Dedicated SQL Pool

انبار داده و ETL در استخر اختصاصی SQL Data Warehousing and ETL in Dedicated SQL Pool

• انبار داده و ETL Data Warehousing and ETL

• معماری MPP اختصاصی استخر SQL MPP Architecture of Dedicated SQL Pool

• توزیع در جداول اختصاصی SQL Pool Distributions in Tables of Dedicated SQL Pool

• نمایه سازی جداول اختصاصی SQL Pool Indexing of Tables of the Dedicated SQL Pool

• آزمایشگاه - استخر اختصاصی SQL ایجاد کنید Lab - Create Dedicated SQL Pool

• آزمایشگاه - ایجاد Azure SQL DB Lab - Create Azure SQL DB

• آزمایشگاه - استخر اختصاصی SQL را با استفاده از پیوند Synapse پر کنید Lab - Popoulate Dedicated SQL pool using Synapse Link

• آزمایشگاه - استخر اختصاصی SQL را کاوش کنید Lab - Explore Dedicated SQL Pool

• فرآیند بارگذاری داده (ETL) در استخر اختصاصی SQL Data Loading Process (ETL) in Dedicated SQL Pool

• جداول مرحله بندی را ایجاد و بارگذاری کنید Create and Load Staging Tables

• به آرامی تغییر ابعاد Slowly Changing Dimensions

• در حال بارگذاری جداول ابعاد Loading Dimension Tables

• بارگیری جداول اطلاعات و بهینه سازی پست بار Loading Fact Tables and Post Load Optimization

بهبود عملکرد استخر اختصاصی SQL Performance Improvement of Dedicated SQL Pool

• پارتیشن بندی جدول Table Partitioning

• آزمایشگاه - یک جدول پارتیشن بندی شده ایجاد کنید Lab - Create a partitioned Table

• تقسیم و تعویض پارتیشن Partition splitting and switching

• تقسیم پارتیشن و سوئیچینگ مثال بررسی اجمالی Partition splitting and switching Example Overview

• نمونه جداسازی و سوئیچینگ Lab-Partition Lab-Partition splitting and switching example

• نماهای مدیریت پویا Dynamic Management Views

• اطلاعات و فعالیت اتصال را شناسایی کنید Identify Connection Information and activity

• عملکرد پرس و جو را شناسایی و عیب یابی کنید Identify and troubleshoot query performance

• نماهای مادی شده Materialized Views

• WITH_RECOMMENDATIONS توضیح دهید EXPLAIN WITH_RECOMMENDATIONS

• مدیریت حجم کار Workload Management

• آزمایشگاه - مدیریت حجم کار Lab - Workload Management

یک استخر SQL اختصاصی را ایمن کنید Secure a Dedicated SQL Pool

• دسترسی مشروط Conditional Access

• پوشش داده پویا Dynamic Data Masking

• آزمایشگاه - پوشش داده پویا Lab - Dynamic Data Masking

• آزمایشگاه - امنیت سطح ستون Lab - Column Level Security

• آزمایشگاه - امنیت سطح ردیف Lab - Row Level Security

• آزمایشگاه - رمزگذاری داده های شفاف Lab - Transparent Data Encryption

Azure Synapse Serverless SQL Pool Azure Synapse Serverless SQL Pool

• مقدمه ای بر SQL Pool بدون سرور Introduction to Serverless SQL Pool

پرس و جو داده ها با استفاده از سرور SQL Pool Query Data using Serverless SQL Pool

• تابع OPENROWSET The OPENROWSET Function

• آزمایشگاه - پرس و جو فرمت های مختلف فایل از سرور SQL Pool Lab - Querying different file formats from Serverless SQL Pool

• عبارات Wildcard برای فیلتر کردن فایل ها Wildcard expressions to filter files

• ایجاد اشیاء خارجی در SQL Pool بدون سرور Create External Objects in Serverless SQL Pool

• آزمایشگاه - ایجاد اشیاء خارجی در استخر SQL بدون سرور Lab - Create External Objects in Serverless SQL Pool

تبدیل داده ها با استفاده از سرور SQL Pool Transform Data using Serverless SQL Pool

• تبدیل داده ها با استفاده از سرور SQL Pool Transform Data using Serverless SQL Pool

• آزمایشگاه - تبدیل (بخش 1) - از CETAS برای تبدیل داده ها استفاده کنید Lab - Transform (part1) - Use CETAS to Transform data

• آزمایشگاه - تبدیل (بخش 2) - یک رویه ذخیره شده در یک خط لوله سیناپس اضافه کنید Lab - Transform (part2) -Add a Stored procedure within a Synapse Pipeline

پایگاه داده دریاچه در استخر SQL بدون سرور Lake Database in Serverless SQL Pool

• معرفی پایگاه داده دریاچه Lake Database Introduction

• آزمایشگاه - ایجاد پایگاه داده دریاچه Lab - Create Lake Database

داده های امن در استخر SQL بدون سرور Secure Data in Serverless SQL Pool

• احراز هویت در استخر SQL بدون سرور Authentication in Serverless SQL Pool

• لیست های کنترل دسترسی (ACL) Access Control Lists (ACLs)

• RBAC در استخر SQL بدون سرور RBAC in Serverless SQL Pool

Azure Synapse Apache Spark Pool Azure Synapse Apache Spark Pool

• معماری جرقه Spark Architecture

• آزمایشگاه - یک Apache Spark Pool ایجاد کنید Lab - Create an Apache Spark Pool

• مستندات جرقه Spark Documentation

تبدیل داده ها در استخر اسپارک با استفاده از PySpark Data Transformation in a Spark Pool using PySpark

• آزمایشگاه - خواندن داده ها در یک Dataframe Lab - Read data into a Dataframe

• آزمایشگاه - تحولات در داده های مشتری Lab - Transformations on Customer data

• آزمایشگاه - تحولات در داده های محصول Lab - Transformations on Product data

• آزمایشگاه - تحولات در داده های ماهانه Lab - Transformations on Monthly data

• آزمایشگاه - پارتیشن بندی داده ها Lab - Partitioning data

• آزمایشگاه - جداول مدیریت شده در مقابل جداول خارجی Lab - Managed Tables Vs External Tables

• آزمایشگاه - دستورات جادویی Lab - Magic commands

• آزمایشگاه - TempViews در مقابل GlobalTempViews Lab - TempViews Vs GlobalTempViews

تبدیل داده ها در Spark Pool با استفاده از SparkSQL Data Transformation in Spark Pool using SparkSQL

• آزمایشگاه - ایجاد اشیاء پایگاه داده Lab - Create Database Objects

• آزمایشگاه - تبدیل برای داده های محصول Lab - Transformations for Product data

• آزمایشگاه - تحولات در داده های ماهانه و پارتیشن بندی Lab - Transformations on Monthly data and Partitioning

دریاچه دلتا در استخر اسپارک Delta Lake in Spark Pool

• آشنایی با دریاچه دلتا Introduction to Delta Lake

• آزمایشگاه - جداول دلتا ایجاد کنید Lab - Create Delta Tables

• آزمایشگاه - جدول دلتا را به روز کنید Lab - Update Delta Table

• آزمایشگاه - سفر در زمان Lab - Time Travel

• آزمایشگاه - جداول دلتا را با استفاده از SQL ایجاد کنید Lab - Create Delta Tables using SQL

پیاده سازی Data Lakehouse با استفاده از Spark Pool Implement Data Lakehouse using Spark Pool

• مقدمه ای بر دیتا لیک هاوس Introduction to Data Lakehouse

• آزمایشگاه - آماده سازی محیط برای Data Lakehouse Lab - Preparing Environment for Data Lakehouse

• آزمایشگاه - منطقه نقره ای را پر کنید Lab - Populate Silver Zone

• آزمایشگاه - منطقه طلا را پر کنید Lab - Populate Gold Zone

• آزمایشگاه - خط لوله Synapse ELT ایجاد کنید Lab - Create Synapse ELT Pipeline

Azure Data Lake Storage Gen 2 Azure Data Lake Storage Gen 2

• ADLS Gen 2 مقدمه ADLS Gen 2 Introduction

• آزمایشگاه - ایجاد حساب ADLS Gen 2 Lab - Create ADLS Gen 2 Account

• Azure Storage Explorer Azure Storage Explorer

• فرمت های فایل ADLS ADLS File Formats

• لیست های کنترل دسترسی (ACL) در ADLS Gen 2 Access Control Lists (ACLs) in ADLS Gen 2

• دسترسی به سطوح ADLS Gen 2 Access Tiers of ADLS Gen 2

• سیاست های مدیریت چرخه حیات Lifecycle Management Policies

• آزمایشگاه - سیاست های مدیریت چرخه حیات را ایجاد کنید Lab - Create Lifecycle Management Policies

• افزونگی ذخیره سازی Storage Redundancy

Azure Data Facrory Azure Data Facrory

• مقدمه ای بر Azure Data Factory Introduction to Azure Data Factory

• آزمایشگاه - ایجاد حساب Azure Data Factory Lab - Create Azure Data Factory Account

• آزمایشگاه (اختیاری) - ایجاد Azure SQL DB Lab (Optional)- Create Azure SQL DB

• آزمایشگاه - یک خط لوله داده ADF ایجاد کنید Lab - Create an ADF Data Pipeline

• آزمایشگاه - یک DataFlow ایجاد کنید Lab - Create a DataFlow

• آزمایشگاه - شامل فلوولت ها در DataFlow Lab - Include Flowlets in the DataFlow

• آزمایشگاه - یک خط لوله از Dataflow ایجاد کنید Lab - Create a Pipeline from Dataflow

• مقدمه ای بر Triggers Introduction to Triggers

• آزمایشگاه - ایجاد محرک Lab - Creating Triggers

• آزمایشگاه - وابستگی خط لوله Lab - Pipeline Dependency

• آزمایشگاه - وابستگی ماشه Lab - Trigger Dependency

• یکپارچه سازی زمان اجرا Integration Runtimes

Azure Databricks Azure Databricks

• آشنایی با Azure Databricks Introduction to Azure Databricks

• آزمایشگاه - فضای کاری Azure Databricks را ایجاد کنید Lab - Create Azure Databricks Workspace

• تنظیمات خوشه در Azure Databricks Cluster Configurations in Azure Databricks

• آزمایشگاه - ایجاد خوشه Lab - Cluster Creation

• آزمایشگاه - داده‌ها، انبارهای SQL و داشبورد در Azure Databricks Lab - Data Ingestion, SQL Warehouses and Dashboards in Azure Databricks

• آزمایشگاه - نصب ظرف روی DBFS با استفاده از Key Vault Lab - Mounting container onto DBFS using Key Vault

تجزیه و تحلیل جریان Azure Azure Stream Analytics

• مبانی تحلیلی Azure Strean Fundamentals of Azure Strean Analytics

• انواع توابع پنجره Types of Window Functions

• پنجره غلت Tumbling Window

• پنجره پرش Hopping Window

• پنجره کشویی Sliding Window

• پنجره جلسه Session Window

• پنجره عکس فوری Snapshot Window

• ورودی داده های مرجع Reference Data Inputs

• توابع جغرافیایی Geospatial Functions

ایجاد Azure Stream Analytics Job Create Azure Stream Analytics Job

• آزمایشگاه - ایجاد مرکز رویداد Azure Lab - Create Azure Event hub

• آزمایشگاه - ایجاد شغل تجزیه و تحلیل جریان Lab - Create Stream Analytics Job

• آزمایشگاه - ورودی کار تجزیه و تحلیل جریان را پیکربندی کنید Lab - Configure Input of Stream Analytics Job

• آزمایشگاه - پیکربندی خروجی کار تجزیه و تحلیل جریان Lab - Configure Output of Stream Analytics Job

• Lab - Query of Stream Analytics Job را پیکربندی کنید Lab - Configure Query of Stream Analytics Job

• آزمایشگاه - کار تجزیه و تحلیل جریان را اجرا کنید Lab - Run Stream Analytics Job

مدیریت زمان در Azure Stream Analytics Time handling in Azure Stream Analytics

• رویدادهای خارج از دستور و دیر رسیدن Out of Order and Late Arriving Events

• تنظیمات مهر زمانی با واترمارک Timestamp adjustments with Watermark

• رویدادهای زودرس، پیشرفت واترمارک و جریان‌های فرعی Early arriving events, Watermark progression and Substreams

• تاخیر واترمارک Watermark Delay

بهینه سازی عملکرد در Azure Stream Analytics Performance Optimization in Azure Stream Analytics

• بهینه سازی عملکرد در تحلیل جریان Performance Optimization in Stream Analytics

سوالات ارزیابی پایان دوره برای DP-203 Azure Data Engineer Associate End-of-Course Evaluation Questions for DP-203 Azure Data Engineer Associate

• تمرین تست 1 Practice Test 1

• تمرین تست 2 Practice Test 2

پایان دوره End of Course

• پایان دوره End of Course