مایکروسافت فابریک: راهنمای نهایی (با پروژه ها)

سرفصل ها و درس ها

مقدمه Introduction

• به دوره خوش آمدید Welcome to the Course

• فابریک مایکروسافت چیست؟ What is Microsoft Fabric?

• ساختار دوره (شخصیت های کاربری) Course Structure (User Personas)

• چرا لاجورد مورد نیاز است Why Azure is Required

• Microsoft Azure چیست؟ What is Microsoft Azure?

• راه اندازی حساب Azure Azure Account Set Up

• مروری بر پورتال Azure، سلسله مراتب منابع و مدیریت هزینه Azure Portal Overview, Resource Hierarchy and Cost Management

• شروع آزمایشی رایگان روی Fabric با استفاده از دامنه شخصی Starting Free Trial on Fabric Using Personal Domain

• شروع آزمایشی رایگان روی Fabric با استفاده از دامنه تجاری Starting Free Trial on Fabric Using Business Domain

• نمای کلی رابط کاربری فابریک Fabric UI Overview

• ایجاد یک گروه منابع و حساب ذخیره سازی ADLS Gen 2 Creating a Resource Group and ADLS Gen 2 Storage Account

• پارکت و قالب های فایل دلتا Parquet and Delta File Formats

انبار داده و Power BI Data Warehousing and Power BI

• نمای کلی بخش Section Overview

• بررسی اجمالی انبارهای داده در پارچه Overview of Data Warehouses in Fabric

• ایجاد یک فضای کاری پارچه ای برای این بخش Creating a Fabric Workspace for this Section

• ایجاد انبار داده Creating a Data Warehouse

• مروری بر پرس و جوهای SQL Overview of SQL Queries

• اضافه کردن نظرات در پرس و جوهای SQL Adding Comments in your SQL Queries

• پیام برای دانش آموزان با تجربه SQL Message for Students with SQL Experience

• کد SQL مورد استفاده در این بخش SQL Code used in this Section

• ایجاد و رها کردن طرحواره ها Create and Drop Schemas

• انواع داده ها Data Types

• ایجاد و رها کردن جداول Create and Drop Tables

• درج رکوردها در یک جدول (و ابتدا به بیانیه انتخاب نگاه کنید) Inserting Records into a Table (and first look at the Select Statement)

• در حال بارگیری مجموعه داده خرده فروشی Loading the Retail Dataset

• بیانیه انتخاب The Select Statement

• انتخاب رکوردهای متمایز Selecting Distinct Records

• توابع و عبارات Functions and Expressions

• سفارش و محدود کردن نتایج Ordering and Limiting your Results

• فیلتر کردن سوابق Filtering Records

• گروه بندی و تجمیع Grouping and Aggregating

• پیوستن به جداول Joining Tables

• دستور اجرای SQL SQL Execution Order

• جدول را به عنوان انتخاب ایجاد کنید Create Table As Select

• به روز رسانی و حذف سوابق Updating and Deleting Records

• سوالات فرعی Subqueries

• بازدیدها Views

• ویرایشگر ویژوال پرس و جو Visual Query Editor

• کلون های صفر کپی و سفر در زمان Zero Copy Clones and Time Travel

• استعلام متقابل انبار Cross Warehouse Querying

• نظارت بر پرس و جو Query Monitoring

• رویه های ذخیره شده Stored Procedures

• (اختیاری) آینه کاری در پارچه - نسخه ی نمایشی دانه برف (Optional) Mirroring in Fabric - Snowflake Demo

• مدلسازی معنایی و Power BI Semantic Modelling and Power BI

• ایجاد روابط در مدل داده ما Establishing Relationships in our Data Model

• اقدامات Measures

• تهیه لایه ارائه و مدل معنایی Preparing the Presentation Layer and Semantic Model

• ایجاد گزارش Power BI Creating the Power BI Report

• داشبوردها Dashboards

• برنامه ها Apps

کارخانه داده Data Factory

• نمای کلی بخش Section Overview

• ایجاد فضای کاری برای این بخش Creating the Workspace for this Section

• ایجاد Lakehouse برای این بخش Creating the Lakehouse for this Section

• بررسی اجمالی خطوط لوله Pipelines Overview

• افزودن داده های Citibike به Lakehouse ما Adding the Citibike Data to our Lakehouse

• کپی داده ها - فایل های Lakehouse Copy Data - Lakehouse Files

• کپی داده - رفتار کپی Copy Data - Copy Behaviour

• کپی داده ها - جداول Copy Data - Tables

• کپی داده - حافظه خارجی (ADLS Gen2) Copy Data - External Storage (ADLS Gen2)

• فعالیت جستجو Lookup Activity

• دریافت فعالیت فراداده Get Metadata Activity

• محتوای پویا و عبارات Dynamic Content and Expressions

• پارامترها Parameters

• متغیرها Variables

• برای هر فعالیت ForEach Activity

• سوئیچ فعالیت Switch Activity

• فراخوانی فعالیت خط لوله Invoke Pipeline Activity

• جریان داده Gen2 Dataflows Gen2

• فعالیت اسکریپت Script Activity

• فعالیت رویه ذخیره شده Stored Procedure Activity

• برنامه ریزی Scheduling

پروژه مهندسی BI/تحلیلگر داده چند تجربه Multi Experience Data Analyst/BI Engineering Project

• پروژه داده تاکسی نیویورک: معماری اجمالی و راه حل NYC Taxi Data Project: Overview and Solution Architecture

• مروری بر داده های تاکسی نیویورک Overview of NYC Taxi Data

• ایجاد Data Lakehouse برای ذخیره سازی اولیه داده ها Creating the Data Lakehouse for Initital Data Storage

• خط لوله داده برای جذب تا مرحله بندی Data Pipeline for Ingestion to Staging

• جریان داده Gen2 برای پردازش تا ارائه Dataflow Gen2 for Processing to Presentation

• ارکستراسیون خط لوله پایان به انتها End to End Pipeline Orchestration

• گزارش Power BI Power BI Reporting

• جایگزینی Dataflow Gen2 با رویه ذخیره شده Replacing Dataflow Gen2 with a Stored Procedure

مهندسی داده Data Engineering

• نمای کلی بخش Section Overview

• آپاچی اسپارک چیست؟ What is Apache Spark?

• Spark SQL و DataFrame API Spark SQL and DataFrame API

• ایجاد فضای کاری و نمای کلی Spark Starter Pool Creating the Workspace and Overview of the Spark Starter Pool

• ایجاد Lakehouse برای این بخش Creating the Lakehouse for this Section

• آپلود فایل های داده تجزیه و تحلیل خرده فروشی Uploading the Retail Analytics Data Files

• مروری بر نوت بوک های پارچه ای Overview of Notebooks in Fabric

• بخش نوت بوک (دانلود و وارد کردن به پارچه) Section Notebooks (Download and Import to Fabric)

• افزودن نظرات به سلول های کد Adding Comments to Code Cells

• توابع و ماژول های داخلی Built-In Functions and Modules

• خواندن فایل های پارکت Reading Parquet Files

• خواندن فایل های CSV و JSON Reading CSV and JSON Files

• تعیین Schema با استفاده از StructType و StructField Specifying Schema using StructType and StructField

• رشته های چند خطی Multi Line Strings

• بارگیری فایل ها در DataFrames با استفاده از رابط کاربری Loading Files to DataFrames using the UI

• محدودیت های SQL در Spark SQL Limitations in Spark

• انتخاب ستون ها از DataFrames Selecting Columns from DataFrames

• انتخاب ستون ها از DataFrames (تکمیلی) Selecting Columns from DataFrames (Supplementary)

• نوشتن DataFrames در فایل ها Writing DataFrames to Files

• نوشتن و خواندن DataFrame از جداول Writing to and Reading DataFrames from Tables

• اضافه کردن، به روز رسانی و حذف ستون های DataFrame Adding, Updating and Removing DataFrame Columns

• تغییر انواع داده ها Changing Data Types

• تغییر نام ستون های DataFrame Renaming DataFrame Columns

• فایلینگ ردیف ها Filering Rows

• مرتب سازی و محدود کردن Sorting and Limiting

• گروه بندی و تجمیع Grouping and Aggregating

• پیوستن به داده ها Joining Data

• اتحاد و حذف موارد تکراری Union and Drop Duplicates

• SQL SQL

• نماهای موقت Temporary Views

• میانبرها Shortcuts

• ایجاد Spark DataFrames از ساختارهای داده پایتون Creating Spark DataFrames from Python Data Structures

• ارکستراسیون و پارامترهای نوت بوک Notebook Orchestration and Parameters

• مروری بر معماری مدالیون Overview of Medallion Architecture

• اجرای معماری مدالیون Medallion Architecture Implementation

• استخرهای جرقه سفارشی Custom Spark Pools

• محیط در مایکروسافت فابریک Environments in Microsoft Fabric

هوش واقعی Real Time Intelligence

• نمای کلی بخش Section Overview

• مروری بر هوش واقعی Overview of Real Time Intelligence

• ایجاد فضای کاری و Lakehouse برای این بخش Creating the Workspace and Lakehouse for this Section

• جریان رویداد به لیک هاوس Eventstream to Lakehouse

• رویدادها، پایگاه‌های داده KQL و مجموعه‌های پرسشی KQL Eventhouses, KQL Databases and KQL Querysets

• جریان رویداد به پایگاه داده KQL Eventstream to KQL Database

• تجزیه و تحلیل زمان واقعی و داشبورد Real Time Analysis and Dashboards

• رفلکس ها (فعال کننده داده) Reflexes (Data Activator)

• بازتاب برای هشدارهای Power BI Reflexes for Power BI Alerts

• حذف فضای کاری Deleting the Workspace

پروژه مهندسی داده چند تجربه Multi Experience Data Engineering Project

• بررسی اجمالی پروژه و معماری راه حل Project Overview and Solution Architecture

• پروژه فضای کاری و ایجاد Lakehouse Project Workspace and Lakehouse Creation

• ایجاد ADLS Gen2 Container و Lakehouse Shortcut Creating the ADLS Gen2 Container and Lakehouse Shortcut

• تخصیص دسترسی مشارکت‌کننده داده‌های حباب ذخیره‌سازی Assigning Storage Blob Data Contributor Access

• داده های ثبت سفر TLC TLC Trip Record Data

• ایجاد طرحواره های مدالیون و جدول جستجوی نقره Creating the Medallion Schemas and Silver Lookup Table

• مروری بر نوت بوک های پردازش داده Overview of Data Processing Notebooks

• ایجاد خط لوله ارکستراسیون Creating the Orchestration Pipeline

• اجرای خط لوله از پایان به پایان End to End Pipeline Run

• ماشه رسیدن فایل انعکاسی خودکار (فعال کننده داده) Automated Reflex File Arrival Trigger (Data Activator)

• تجزیه و تحلیل بیشتر Further Analysis

تبریک میگم Congratulations

• سخنرانی پاداش Bonus Lecture