آموزش Master Microsoft Fabric: A Complete End-to-End Project-CICD

سرفصل ها و درس ها

معرفی دوره Course Introduction

• مقدمه Introduction

• پیش نیازها و مزایا Pre-requisites and benefits

• معماری پروژه و ساختار یادگیری Project Architecture and learning structure

• اسلایدهای دوره Course Slides

راه اندازی محیط Environment Setup

• بخش مقدمه Section Introduction

• ایجاد حساب ذخیره سازی در Azure Creating storage account in Azure

• ایجاد سرویس تحلیل سیناپس Azure در Azure Creating Azure Synapse Analytics Service in Azure

آشنایی با فابریک مایکروسافت Understanding Microsoft Fabric

• بخش مقدمه Section Introduction

• تکامل معماری داده Evolution of Data Architectures

• ساختار دریاچه دلتا Delta Lake Structure

• چرا مایکروسافت فابریک مورد نیاز است Why Microsoft Fabric is needed

• تعریف مایکروسافت از پارچه Microsoft's definition of Fabric

• نحوه فعال کردن و دسترسی به فابریک مایکروسافت How to enable and access Microsoft Fabric

• مجوز پارچه و هزینه یابی Fabric License and costing

• تجربیات مایکروسافت فابریک Experiences in Microsoft Fabric

• اصطلاحات پارچه Fabric Terminology

• OneLake در پارچه OneLake in Fabric

• یک کپی برای همه محاسبات در مایکروسافت فابریک One copy for all Computes in Microsoft Fabric

• مبانی آزمون پارچه Basics of Fabric Quiz

فابریک لیک هاوس Fabric Lakehouse

• بخش مقدمه Section Introduction

• آشنایی با فضاهای کاری پارچه Understanding Fabric Workspaces

• Fabric Trail را فعال کنید و فضای کاری ایجاد کنید Enable Fabric Trail and Create workspace

• خرید ظرفیت پارچه از آژور Purchasing Fabric Capacity from Azure

• نقش های فضای کاری در مایکروسافت فابریک Workspace roles in Microsoft Fabric

• ایجاد یک خانه دریاچه Creating a Lakehouse

• آنچه در داخل خانه دریاچه است What is inside lakehouse

• بارگذاری داده ها در Lakehouse Uploading data to Lakehouse

• در حال آپلود پوشه در Lakehouse Uploading Folder into Lakehouse

• نقطه پایانی تجزیه و تحلیل SQL در Lakehouse SQL analytics endpoint in Lakehouse

• با استفاده از SSMS به نقطه پایانی تجزیه و تحلیل SQL دسترسی پیدا کنید Access SQL analytics endpoint using SSMS

• پرس و جوی بصری در نقطه پایانی SQL Visual Query in SQL endpoint

• مدل معنایی پیش فرض Default Semantic Model

• OneLake File Explorer OneLake File Explorer

• دانش خود را در مورد Lakehouse بررسی کنید Check your knowledge on Lakehouse

Fabric Data Factory Fabric Data Factory

• بخش مقدمه Section Introduction

• رابط کاربری Fabric Data Factory Fabric Data Factory UI

• راه های بارگذاری داده ها در Lakehouse Ways to load data into Lakehouse

• سناریوی Fabric Data Factory vs Azure Data Factory Fabric Data Factory vs Azure Data Factory Scenario

• انواع دروازه در مایکروسافت فابریک Gateway types in Microsoft Fabric

• نصب دروازه داده On-prem Installing On-prem data gateway

• ایجاد اتصال به SQL Server Create Connection to SQL Server

• خط لوله برای دریافت داده های OnPrem SQL به Lakehouse Pipeline to ingest OnPrem SQL data to Lakehouse

• سناریو با استفاده از Fabric data factory تکمیل شد Scenario completed using Fabric data factory

• Dataflow Gen2 - Intro Dataflow Gen2 - Intro

• ایجاد DataFlow Gen2 Creating DataFlow Gen2

• DataFlow Gen2 در Fabric در مقابل Dataflows در ADF DataFlow Gen2 in Fabric vs Dataflows in ADF

• دانش خود را در Data Factory بررسی کنید Check your knowledge in Data Factory

پارچه وان لیک Fabric OneLake

• بخش مقدمه Section Introduction

• در حال بارگیری وضعیت داده ها Loading data status

• میانبرها در پارچه - مقدمه Shortcuts in Fabric - Intro

• پیش نیازهای ایجاد میانبر Prerequisites to Create a shortcut

• ایجاد میانبر در Files of Lakehouse Creating a shortcut in Files of Lakehouse

• معیارهای ایجاد میانبر در بخش جدول Criteria to create shortcuts in table section

• آپلود فایل های مورد نیاز و دسترسی به سیناپس Uploading required files and access for synapse

• راه درست برای ایجاد میانبر در بخش جدول Right way to create a shortcut in table's section

• ایجاد فایل دلتا Creating delta file

• ایجاد میانبر در بخش Table Creating shortcut in Table's section

• سناریو - ایجاد میانبر با دلتا در یک زیر پوشه Scenario - Creating shortcut with delta in a subfolder

• سناریو - ایجاد میانبر فقط با فرمت پارکت Scenario - Creating shortcut with only parquet format

• الزامات ایجاد میانبر در بخش Table and files Requirements to create shortcuts in Table and files section

• به روز رسانی سناریوی 1 - Lakehouse به Datalake Updation Scenario 1 - Lakehouse to Datalake

• سناریوی به روز رسانی 2 - Datalake به Lakehouse Updation Scenario 2 - Datalake to Lakehouse

• معرفی سناریوهای حذف میانبر Shortcut deletion scenarios intro

• سناریوی حذف 1 - حذف در فایل های Lakehouse Deletion Scenario 1 - Delete in Lakehouse files

• سناریوی حذف 2 - حذف در ADLS Deletion Scenario 2 - Delete in ADLS

• سناریوی حذف 3 - داده های جدول را در Lakehouse حذف کنید Deletion Scenario 3 - Delete table data in Lakehouse

• سناریوی حذف 4 - داده های جدول را در ADLS حذف کنید Deletion Scenario 4 - Delete table data in ADLS

• سناریوی حذف 5 - حذف کل میانبر Deletion Scenario 5 - Deleting entire shortcut

• خلاصه سناریوی حذف میانبر Shortcut deleting scenario summary

• دانش خود را در مورد Onelake بررسی کنید Check your knowledge on Onelake

مهندسی داده Fabric Synapse Fabric Synapse Data Engineering

• بخش مقدمه Section Introduction

• بلع به وضعیت Lakehouse Ingestion to Lakehouse status

• جرقه در فابریک مایکروسافت Spark in Microsoft Fabric

• استخرهای جرقه در مایکروسافت فابریک Spark pools in Microsoft Fabric

• اندازه گره استخر جرقه Spark pool node size

• سفارشی کردن استخرهای شروع Customizing Starter pools

• ایجاد یک استخر سفارشی در Workspace Creating a custom pool in Workspace

• جلسات استاندارد در مقابل جلسات همزمان بالا Standard vs High Concurrency Sessions

• تغییر تنظیمات Spark به StarterPool Changing Spark Settings to StarterPool

• آشنایی با رابط کاربری نوت بوک Understanding Notebooks UI

• اصول اولیه نوت بوک فابریک Fabric Notebook basics

• MSSparkUtils - مقدمه MSSparkUtils - Intro

• MSSparkUtils - FS- Mount MSSparkUtils - FS- Mount

• MSSparkUtils - FS - سایر ابزارها MSSparkUtils - FS - Other utils

• MSSparkUtils - FS - FastCp MSSparkUtils - FS - FastCp

• ایجاد پوشه در مایکروسافت فابریک Creating Folders in Microsoft Fabric

• MSSparkUtils - نرم افزار Notebook - خروج را اجرا کنید MSSparkUtils - Notebook Utils - Run exit

• MSSparkUtils - Notebook - RunMultiple MSSparkUtils - Notebook - RunMultiple

• دسترسی به داده های ADLS به Lakehouse - Intro Access ADLS data to Lakehouse - Intro

• با استفاده از Entra ID به ADLS دسترسی پیدا کنید Access ADLS using Entra ID

• با استفاده از سرویس اصلی به ADLS دسترسی پیدا کنید Access ADLS using Service principal

• با استفاده از SP با keyvault به ADLS دسترسی پیدا کنید Access ADLS using SP with keyvault

• نوت بوک فابریک را از خط لوله فابریک فراخوانی کنید Call Fabric notebook from Fabric pipeline

• جدول مدیریت شده در مقابل جدول خارجی - مقدمه Managed vs External table - Intro

• یک جدول مدیریت شده ایجاد کنید Create a Managed Table

• یک جدول خارجی ایجاد کنید Create an External Table

• جدول میانبر یک جدول خارجی یا مدیریت شده است Shortcut Table is an external or managed table

• Data Wrangler در نوت بوک فابریک Data Wrangler in Fabric Notebook

• محیط در مایکروسافت فابریک Environments in Microsoft Fabric

• درک بهینه سازی مرتبه V Understanding V-order optimization

• با افکار خود به ما الهام ببخشید Inspire us with your Thoughts

• تعریف شغل جرقه Spark Job Definition

• دیتا مش چیست؟ What is a data mesh

• ایجاد دامنه در Fabric Creating domains in Fabric

• دانش خود را در مورد مهندسی داده سیناپس بررسی کنید Check your knowledge on Synapse Data Engineering

سیناپس مهاجرت به مایکروسافت فابریک Synapse Migration to Microsoft Fabric

• بخش مقدمه Section Introduction

• واردات دستی از Synapse به Fabric Manual import from Synapse to Fabric

• روشی خودکار برای واردات و صادرات نوت بوک - مقدمه Automated way to import and export notebooks - Intro

• همه نوت بوک ها را از سیناپس به پارچه منتقل کنید Migrate all notebooks from Synapse to fabric

• امکان مهاجرت خطوط لوله به خطوط لوله فابریک Possibility of Migration of Pipelines to Fabric pipelines

• راه هایی برای انتقال داده های ADLS به Fabric OneLake Ways to migrate ADLS data to Fabric OneLake

• با استفاده از Storage Explorer داده های ADLS را به Onelake منتقل کنید Migrate ADLS data to Onelake using Storage Explorer

اپلیکیشن متریک ظرفیت پارچه Fabric Capacity Metrics App

• بخش مقدمه Section Introduction

• برنامه ظرفیت متریک را نصب کنید Install Capacity Metrics App

• درک رابط کاربری برنامه ظرفیت متریک Understanding UI of Capacity Metrics App

• ظرفیت مصرفی واحدها Capacity Units consumption

• تروتتل در مقابل صاف کردن Throttling vs Smoothing

• مرحله درنگ - سیاست حفاظت از بیش از حد مجاز Throttling stage- Overage Protection Policy

• سایر مراحل دریچه گاز Other throttling stages

• خلاصه مراحل گلوگاه Throttling stages Summary

• بیش از حد در پارچه Overages in Fabric

• رویدادهای سیستم در Fabric System Events in Fabric

• ماتریس ویژوال Matrix Visual

• دانش خود را در مورد برنامه ظرفیت متریک بررسی کنید Check your knowledge on Capacity Metrics App

انبار داده Fabric Synapse Fabric Synapse Data Warehouse

• بخش مقدمه Section Introduction

• ایجاد انبار در پارچه Creating a Warehouse in Fabric

• Warehouse vs SQL Analytics Endpoint Warehouse vs SQL Analytics Endpoint

• ایجاد جدول و محدودیت ها Creating a table and Limitations

• راه های بارگذاری داده ها در انبار Ways to Load Data into Warehouse

• بارگیری داده ها با استفاده از دستور COPY INTO Loading Data using COPY INTO Command

• بارگیری داده ها با استفاده از خط لوله به انبار Loading Data using Pipeline to Warehouse

• بارگیری داده ها با استفاده از DataFlow Gen2 Loading Data using DataFlow Gen2

• به اشتراک گذاری داده - Lakehouse & Warehouse Data Sharing - Lakehouse & Warehouse

• مصرف متقابل پایگاه داده در انبار Cross Database Ingestion in Warehouse

• Lakehouse در مقابل Warehouse چه زمانی انتخاب کنید Lakehouse vs Warehouse when to choose what

• الگوهای مختلف معماری مدالیون Different Medallion Architectural patterns

• به روز رسانی داده های Lakehouse از WH و بالعکس Update Lakehouse data from WH and vice versa

• پرس و جوی SQL به عنوان جلسه در Fabric SQL query as session in Fabric

• شبیه سازی Zero Copy در داخل و در سراسر Schema Zero Copy clone within and across Schema

• سفر در زمان در انبار Time Travel in Warehouse

• مزایا و محدودیت‌های کلون‌های Zero Copy Benefits & Limitations of Zero Copy clones

• شبیه سازی جداول تک یا چندگانه با استفاده از رابط کاربری Cloning single or multiple tables using UI

• جستجوی بینش در انبار Query Insights in Warehouse

• دانش خود را در انبار داده بررسی کنید Check your knowledge in Data warehouse

کنترل دسترسی فابریک و مجوزها Fabric Access Control and permissions

• بخش مقدمه Section Introduction

• ساختار پارچه مایکروسافت Microsoft Fabric Structure

• مجوزهای سطح مستاجر Tenant Level permissions

• مجوزهای سطح ظرفیت Capacity Level Permissions

• ایجاد کاربر جدید در Entra ID Creating new user in Entra ID

• نقش های فضای کاری - مدیریت فضای کاری Workspace roles- Workspace Administration

• نقش های فضای کاری - مجوزهای خط لوله داده Workspace roles - Data pipeline permissions

• نقش های فضای کاری - نوت بوک، کارهای Spark و غیره Workspace Roles - Notebook, Spark jobs, etc

• مجوزهای انبار داده - مقدمه Data Warehouse permissions - Intro

• نقش های فضای کاری - دسترسی به میانبرهای داخلی فابریک - تئوری Workspace Roles - Accessing shortcuts internal to fabric - Theory

• نقش های فضای کاری - دسترسی به میانبرهای داخلی به پارچه - عملی Workspace Roles - Accessing Shortcuts Internal to Fabric - Practical

• نقش های فضای کاری - دسترسی به میانبرهای ADLS - تئوری Workspace Roles - Accessing ADLS shortcuts - Theory

• نقش های فضای کاری - دسترسی به میانبرهای ADLS - عملی Workspace Roles - Accessing ADLS shortcuts - Practical

• نقش‌های فضای کاری - مجوزهای Lakehouse Workspace Roles - Lakehouse permissions

• مجوزهای سطح مورد - مقدمه Item level permissions - Intro

• اشتراک انبار - بدون مجوز اضافی Warehouse Sharing - No additional permissions

• اشتراک انبار - مجوزهای ReadData Warehouse Sharing - ReadData permissions

• اشتراک انبار - ReadAll مجوزها Warehouse Sharing - ReadAll permissions

• اشتراک انبار - مجوزهای ساخت Warehouse Sharing - Build permissions

• مایکروسافت فابریک تریل را گسترش دهید Extend Microsoft Fabric Trail

• Lakehouse Sharing - همه مجوزها Lakehouse Sharing - All permissions

• نوت بوک - به اشتراک گذاری آیتم Notebook - Item Sharing

• دسترسی به داده های OneLake را مدیریت کنید Manage OneLake data access

• امنیت در سطح ردیف در انبار و نقطه پایانی SQL Row-Level Security in Warehouse and SQL endpoint

• پوشش داده پویا در انبار و نقطه پایانی SQL Dynamic Data Masking in Warehouse and SQL endpoint

• امنیت سطح ستون و شی در انبار و نقطه پایانی SQL Column & Object level security in Warehouse and SQL endpoint

• دانش خود را در مورد کنترل دسترسی بررسی کنید Check your knowledge on Access control

Microsoft Power BI در Fabric Microsoft Power BI in Fabric

• بخش مقدمه Section Introduction

• مدل معنایی پیش فرض - مقدمه Default Semantic Model - Intro

• مدل معنایی پیش‌فرض را مدیریت کنید Manage default Semantic Model

• دسترسی به Lakehouse یا Warehouse با استفاده از Power BI Desktop Accessing Lakehouse or Warehouse using Power BI Desktop

• به‌روزرسانی خودکار مدل معنایی در Lakehouse یا انبار Automatically update semantic model in Lakehouse or warehouse

• ایجاد مدل معنایی جدید Creating new Semantic Model

• نمای خطی و تحلیل تاثیر Lineage view and Impact Analysis

• با استفاده از نقطه پایانی XMLA متصل شوید و با استفاده از ویرایشگر Tabular بنویسید Connect using XMLA endpoint and readwrite using Tabular Editor

• دریاچه مستقیم چیست؟ What is a Direct Lake

• دریاچه مستقیم - عملی Direct Lake - Practical

• حالت های DirectLake در مقابل Direct Query در مقابل Import DirectLake vs Direct Query vs Import modes

• Refresh a Semantic Model - Manual Refresh a Semantic Model - Manual

• Refresh مدل Semantic از Notebook Refresh Semantic model from Notebook

• Refresh مدل معنایی از XMLA Endpoint Refresh Semantic Model from XMLA Endpoint

• Refresh مدل معنایی از Data Pipeline Refresh Semantic Model from Data Pipeline

• بازگشت به سناریوهای پرس و جو مستقیم Fallback to Direct Query Scenarios

• مدیریت رفتار بازگشتی مدل های معنایی Handling Fallback behavior of Semantic Models

• چندین اندازه را از یک مدل به مدل دیگر در Fabric.mp4 کپی کنید Copy Multiple measures from One Model to another in Fabric.mp4

• امنیت در سطح ردیف در Power BI Row-level security in Power BI

• امنیت در سطح ردیف بدون نقش بیننده Row-level security without Viewer Role

• ساخت مجوز برای کاربر با RLS Build permission to user with RLS

• امنیت در سطح ردیف پویا Dynamic Row-level Security

• امنیت سطح شی با نقش بیننده Object level Security with viewer role

• امنیت سطح شی بدون نقش Viewer Object level security without Viewer role

• امنیت سطح ستون Column level security

• دانش خود را در مورد Power BI در Fabric بررسی کنید Check your knowledge on Power BI in Fabric

پروژه پایان تا انتهای پارچه Fabric End to End project

• بخش مقدمه Section Introduction

• معماری های مختلف مدالیون در پارچه Different Medallion architectures in Fabric

• درک اطلاعات دامنه و مجموعه داده Understanding domain and dataset information

• معماری پروژه Project Architecture

• ایجاد فضای کاری برای مجموعه داده پروژه و بررسی Creating workspace for project and review dataset

• دریافت داده ها از خام تا فرود - تئوری Get data from Raw to landing - theory

• منطقه خام تا فرود Raw to landing zone

• الگوهای مختلف بارگذاری افزایشی Different incremental loading patterns

• از خام تا منطقه فرود به تدریج مصرف کنید Incrementally ingest from Raw to landing zone

• مصرف خودکار از خام به فرود با استفاده از خط لوله Automate ingest from Raw to Landing using pipeline

• دریافت داده ها از لایه فرود تا برنز - نظریه Ingest data from Landing to Bronze layer - Theory

• درک منطق UPSERT برای فرود تا بلع برنز Understanding UPSERT logic for Landing to Bronze ingestion

• فرود به لایه برنز - عملی Landing to Bronze layer - practical

• خواندن فرود به برنز از پارتیشن بعدی Reading landing to bronze from next partition

• سناریوی UPSERT عملی - فرود به برنز UPSERT scenario practical - Landing to bronze

• لایه برنز به لایه نقره - تئوری Bronze layer to Silver layer - Theory

• درک تبدیل داده ها و منطق UPSERT برای جدول نقره ای Understanding data transformations and UPSERT logic for Silver table

• میز نقره ای - تمیز کردن داده ها Silver table - Data cleaning

• لایه نقره ای - تبدیل داده ها Silver Layer - data transformations

• لایه طلا - جدول حقایق و ابعاد - تئوری Gold Layer - Facts and dimensions table - Theory

• لایه طلا - حقایق و جداول ابعاد - کاربردی Gold Layer - Facts and dimension tables - Practical

• مدل سازی داده ها و ایجاد گزارش Data modelling and creating a report

• خط لوله انتها به انتها را هماهنگ کنید و آن را اجرا کنید Orchestrate end to end pipeline and execute it

ادغام Fabric Git Fabric Git Integration

• بخش مقدمه Section Introduction

• ایجاد منابع داده برای PROD Creating data sources for PROD

• تغییرات ایجاد شده برای پشتیبانی از ادغام Git Changes made to support Git integration

• در حال اجرا برای بررسی اینکه آیا تغییرات کار می کنند یا خیر Executing to check if changes were working

• با حساب Azure DevOps ثبت نام کنید Sign up with Azure DevOps account

• فضای کاری Fabric را به Azure DevOps متصل کنید Connect Fabric workspace to Azure DevOps

• مجوزها و محدودیت های یکپارچه سازی Git Git integration permissions and Limitations

• قفل کردن شعبه اصلی با سیاست شعبه Locking main branch with branch policy

• درک یکپارچگی مداوم (CI) در پارچه Understanding Continuous Integration (CI) in Fabric

• ادغام مداوم در فضای کاری پارچه Continuous Integration in Fabric Workspace

• وضعیت فضای کاری ایجاد شده برای شاخه ویژگی Status of workspace created for feature branch

• درک استقرار مداوم در پارچه Understanding Continuous Deployment in Fabric

• استقرار اقلام Fabric از Dev به Prod Deploying Fabric items from Dev to Prod

• قوانین استقرار برای تغییر منابع داده فضای کاری Prod Deployment rules to Change data sources of Prod workspace

• اجرای End to End در PROD End to End execution in PROD

• ادغام Git برای توسعه دهندگان Power BI Git integration for Power BI developers

• خلاصه ای از کنترل نسخه برای Power BI Summary of version control for Power BI

دوره پارچه - نتیجه گیری Fabric Course - Conclusion

• تکمیل دوره Course Completion

• سایر دوره های مهندسی داده من My other Data Engineering Courses