آمادگی آزمون مایکروسافت DP-700: مهندس داده پارچه‌ای (Fabric Data Engineer Associate) - آخرین آپدیت

سرفصل ها و درس ها

مقدمه Introduction

• نمای کلی دوره Course Overview

• مهندسی داده چیست؟ What is Data Engineering?

• تکامل مهندسی داده Evolution of Data Engineering

• Lakehouse چیست؟ What is Lakehouse?

• معماری Medallion توضیح داده شده! Medallion Architecture Explained!

• Delta Lake - موضوع داغ! Delta Lake - Hot Topic!

• حساب رایگان Azure Azure Free Account

• مفاهیم اولیه Azure Azure Fundamentals

منابع Resources

• منابع - پوشه فشرده Resources - ZippedFolder

• منابع - اسکریپت‌های T-SQL Resources - T-SQL Scripts

• منابع - نوت‌بوک‌های Spark Resources - Spark Notebooks

• اسلایدهای دوره Course Slides

مفاهیم اولیه Microsoft Fabric Microsoft Fabric Fundamentals

• چرا Microsoft Fabric؟ Why Microsoft Fabric?

• Microsoft Fabric چیست؟ What is Microsoft Fabric?

• سلسله مراتب در Microsoft Fabric Hierarchy in Microsoft Fabric

• نقش‌ها در Microsoft Fabric Roles in Microsoft Fabric

• حساب رایگان Fabric Fabric Free Account

• نمای کلی پورتال Fabric Fabric Portal Overview

Microsoft OneLake - راهکار ذخیره‌سازی برای Microsoft Fabric Microsoft OneLake - Storage Solution for Microsoft Fabric

• OneLake چیست؟ What is OneLake

• چرا OneLake؟ Why OneLake?

• مدیریت داده‌های خود – کاوشگر فایل OneLake Manage your data - One Lake File Explorer

• آزمون دانش Knowledge Test

Fabric Lakehouse - ذخیره‌سازی داده‌های ساخت‌یافته، نیمه‌ساخت‌یافته و بدون ساختار Fabric Lakehouse - Store Structured, Semi structured, and Unstructured Data

• Fabric Lakehouse چیست؟ What is a Fabric Lakehouse?

• ایجاد اولین Lakehouse خود Create your first Lakehouse

• بارگذاری داده‌ها به Lakehouse Load data to Lakehouse

• کاوشگر فایل OneLake با Lakehouse OneLake file explorer with Lakehouse

• ایجاد جداول در Lakehouse Create tables in Lakehouse

• فایل‌های Parquet با Lakehouse Parquet files with Lakehouse

• میانبر ها در Fabric Shortcuts in Fabric

• میانبر های داخلی چیستند؟ What are Internal Shortcuts ?

• میانبر های خارجی چیستند؟ What are External Shortcuts?

• میانبر های داخلی با فایل ها Internal Shortcuts with Files

• میانبر های داخلی با جداول Internal Shortcuts with Tables

• نمونه‌هایی از میانبرهای خارجی External Shortcuts Illustrations

• ذخیره سازی نهان در میانبرها Caching in Shortcuts

• Lakehouse با طرحواره (جدید) Lakehouse with Schema (NEW)

• نقطه پایانی‌های SQL Lakehouse Lakehouse SQL Endpoints

• آزمون دانش Knowledge Test

Fabric Data Factory - طراحی و ساخت خطوط لوله و گردش کارهای ETL end-to-end Fabric Data Factory - Design and Build End-To-End ETL Pipelines and Workflows

• دریافت داده در Fabric Data Ingestion in Fabric

• Fabric Data Factory چیست؟ What is Fabric Data Factory

• نمای کلی Fabric Data Factory Fabric Data Factory Overview

• فعالیت کپی در Fabric Data Factory Copy Activity in Fabric Data Factory

• دریافت داده از Azure Data Lake Storage Gen 2 Ingest data from Azure Data Lake Storage Gen 2

• حلقه‌ها و پارامترها در Fabric Data Factory Loops and Parameters in Fabric Data Factory

• فعالیت متادیتا Metadata Activity

• فعالیت فیلتر Filter Activity

• فعالیت شرطی - شرط If Conditional Activity - If Condition

• حذف در Data Factory Deletion in Data Factory

• متغیرها در Fabric Data Factory Variables in Fabric Data Factory

• چگونه در صورت بروز خطا اعلان ایمیل ارسال کنیم؟ How to send email notification on failure?

• خطوط لوله والد و فرزند Parent and Child Pipelines

• تریگرها در Fabric Data Factory Triggers in Fabric Data Factory

• نظارت در Fabric Data Factory Monitoring in Fabric Data Factory

• آزمون دانش Knowledge Test

تبدیل داده‌های خود با کم کد/بدون کد با Dataflow Gen 2 Transform your data with Low/No-code with Dataflow Gen 2

• نمای کلی Dataflow Gen2 Dataflow Gen2 overview

• تبدیل نوع در DataflowGen2 Type casting in DataflowGen2

• جایگزینی مقادیر در DataflowGen2 Replace Values in DataflowGen2

• تبدیل‌های رشته‌ای String Transformations

• اعمال توابع آماری Apply statistical functions

• نمای نموداری در DataflowGen2 Diagram view in DataflowGen2

• اعمال اتصال در DataflowGen2 Apply Joins in DataflowGen2

• اضافه کردن مقصد (Lakehouse) Adding a destination (Lakehouse)

• زمان‌بندی Dataflows Scheduling Dataflows

• ادغام DataflowGen2 با Data Factory Integrating DataflowGen2 with Data Factory

توسعه Spark - قلب مهندسی داده Fabric Spark Development - The Heart Of Fabric Data Engineering

• اول از همه - درک SPARK First of all - Understand SPARK

• اندازه گره‌ها در Fabric Nodes Sizes in Fabric

• استخرهای اولیه در مقابل استخرهای سفارشی Starter Pools VS Custom Pools

• نمای کلی نوت‌بوک‌های Fabric Fabric Notebooks Overview

• مفاهیم اولیه PySpark PySpark Fundamentals

• تبدیل نوع در PySpark Type Casting in PySpark

• تبدیل ستون‌های تاریخ Transform Date Columns

• جایگزینی مقادیر در PySpark Replacing Values in PySpark

• توابع سطح متوسط PySpark PySpark Intermediate Level Functions

• تبدیل ستون‌های حساس به زمان با توابع Timestamp Transform time sensitive columns with Timestamp Functions

• Spark SQL - اجرای کوئری‌های SQL در PySpark Spark SQL - Run SQL queries in PySpark

• تجسم داده برای تجزیه و تحلیل داده‌های بزرگ Data Visualization for big data analysis

• جداول خارجی در مقابل جداول مدیریت شده External vs Managed Tables

• NotebookUtils در PySpark (MSSparkUtils) NotebookUtils in PySpark (MSSparkUtils)

• جداول Delta Lake Delta Lake Tables

• مسافرت در زمان در جداول Delta Lake Time Travel in Delta Lake Tables

• استراتژی‌های بهینه‌سازی در جداول delta lake OPTIMIZATION strategies in delta lake tables

• دستورات VACUUM و OptimizeWrite VACUUM and OptimizeWrite Command

• SparkStreaming با جداول Delta SparkStreaming with Delta Tables

• محیط‌های ایزوله در Spark Fabric Isolated Environments in Fabric Spark

• چگونه محیط‌ها را در Fabric ایجاد کنیم؟ How to create Environments in Fabric

• نظارت و زمان‌بندی نوت‌بوک‌های Spark Monitoring and Scheduling Spark Notebooks

• تعریف شغل Spark Spark Job Definition

• نحوه وارد کردن نوت‌بوک‌ها از کامپیوتر شخصی How to Import Notebooks from PC

• آزمون دانش Knowledge Test

انبار داده Fabric - یک انبار داده Lake-centric برای لایه GOLD شما Fabric Data Warehouse - A Lake Centric Data Warehouse for your GOLD Layer

• مفاهیم اولیه انبار داده Data Warehouse Fundamentals

• نمای کلی انبار داده Fabric Fabric Data Warehouse Overview

• بارگذاری داده‌ها به انبار داده Load data to Data Warehouse

• دستور COPY INTO در انبار داده Fabric COPY INTO command in Fabric Data Warehouse

• CTAS - کپی جدول به عنوان انتخاب CTAS - Copy Table As Select

• نمای کلی تجمع یافته لایه GOLD با استفاده از T-SQL Gold Layer Aggregated View using T-SQL

• نمای تجاری لایه GOLD با استفاده از T-SQL Gold Layer Business View using T-SQL

• توابع T-SQL T-SQL Functions

• رویه‌های ذخیره‌سازی T-SQL T-SQL Stored Procedures

• نمایش‌های مدیریت پویا Dynamic Management Views

• نمایش‌های Query Insights Query Insights Views

• ویرایشگر کوئری بصری در انبار داده Fabric Visual Query Editor in Fabric Data Warehouse

• ادغام T-SQL با نوت‌بوک Integrating T-SQL with Notebook

• تنظیمات SSMS SSMS Setup

• کنترل دسترسی در انبار داده Fabric Access Control in Fabric Data Warehouse

• ماسک داده پویا Dynamic Data Masking

• امنیت سطح ستون Column Level Security

• امنیت سطح سطر Row Level Security

• مدل‌های معنایی Semantic Models

• Direct Lake در Fabric Direct Lake in Fabric

• آزمون دانش Knowledge Test

حاکمیت داده Fabric Fabric Data Governance

• چرا کنترل دسترسی Fabric؟ Why Fabric Access Control?

• کنترل دسترسی سطح فضای کاری Workspace Level Access Control

• کنترل دسترسی سطح مورد Item Level Access Control

• کنترل دسترسی سطح OneLake One Lake Level Access Control

• خاستگاه داده Data Lineage

• تأییدها Endorsements

• نظارت در Fabric Monitoring in Fabric

• دسترسی ادمین Fabric Fabric Admin Access

• اتصالات و دروازه‌های Fabric Fabric Connections and Gateways

• برنامه معیار ظرفیت Fabric Fabric Capacity Metric App

تجزیه و تحلیل بلادرنگ - EventStream، EventHouse، پایگاه داده KQL Real Time Analytics - EventStream, EventHouse, KQL DB

• تجزیه و تحلیل بلادرنگ چیست؟ What is Real Time Analytics?

• پنجره‌های متوالی Tumbling Windows

• پنجره‌های پرش‌دار Hopping Windows

• پنجره‌های لغزنده Sliding Windows

• پنجره‌های جلسه Session Windows

• پنجره‌های عکس فوری Snapshot Windows

• EventStream در Fabric EventStream in Fabric

• تبدیل داده‌های بلادرنگ Transforming Real Time Data

• EventHouse و پایگاه داده KQL EventHouse and KQL DB

• نمای کلی زبان پرس و جو Kusto Kusto Query Language Overview

• مفاهیم اولیه KQL KQL Basics

• فیلتر کردن و توابع تاریخ Filtering and Date Functions

• توابع تجمعی در KQL Aggregation Functions in KQL

• نمای‌های مادی در KQL Materialized Views in KQL

• توابع در KQL Functions in KQL

• داشبوردهای بلادرنگ Real Time Dashboards

• کوئری‌های پایه برای داشبوردهای بلادرنگ Base Queries for Real Time Dashboards

• فعال‌ساز Fabric Fabric Activator

• آزمون دانش Knowledge Test

CI/CD با Azure DevOps و خطوط لوله استقرار CI/CD with Azure DevOps and Deployment Pipelines

• CI/CD چیست؟ What is CI/CD?

• یکپارچگی پیوسته در Fabric Continuous Integration in Fabric

• تنظیمات Azure DevOps Azure DevOps Setup

• شاخه ویژگی و درخواست‌های کششی Feature Branch and Pull Requests

• استقرار پیوسته در Fabric Continuous Deployment in Fabric

• تنظیمات خطوط لوله استقرار Deployment Pipelines Setup

• همگام‌سازی تغییرات در مراحل Sync Changes in the stages

• خط لوله استقرار CI/CD end-to-end End-To-End CI/CD Deployment Pipeline

• خطاهای استقرار (نگران نباشید) Deployment Errors (Don't Worry)

• آزمون دانش Knowledge Test