آموزش Azure Synapse Analytics برای مهندسان داده -Hands On Project

سرفصل ها و درس ها

معرفی Introduction

• معرفی دوره Course Introduction

• دانلود مواد درسی Course Materials Download

• لینک های مفید Useful Links

اشتراک Azure (اختیاری) Azure Subscription (Optional)

• ایجاد اکانت Azure Creating Azure Account

• مروری بر پورتال لاجورد Azure Portal Overview

بررسی اجمالی تحلیل سیناپس Azure Azure Synapse Analytics Overview

• مقدمه ای بر Azure Synapse Analytics Introduction to Azure Synapse Analytics

• تاریخچه انبار داده/دریاچه های داده History of Data Warehouse/ Data Lakes

• ظهور Azure Synapse Analytics Emergence of Azure Synapse Analytics

• فضای کاری Azure Synapse Analytics ایجاد کنید Create Azure Synapse Analytics Workspace

• نمای کلی فضای کاری Azure Synapse Analytics Azure Synapse Analytics Workspace Overview

• نمای کلی استودیوی Azure Synapse Azure Synapse Studio Overview

• نمای کلی مرکز داده Data Hub Overview

• نمای کلی هاب را توسعه دهید Develop Hub Overview

• یکپارچه سازی نمای کلی هاب Integrate Hub Overview

• نمای کلی مانیتور هاب Monitor Hub Overview

• مدیریت نمای کلی هاب Manage Hub Overview

بررسی اجمالی پروژه تاکسی نیویورک NYC Taxi Project Overview

• نمای کلی بخش Section Overview

• بررسی اجمالی منبع داده تاکسی نیویورک NYC Taxi Data Source Overview

• بررسی اجمالی فایل های داده تاکسی نیویورک NYC Taxi Data Files Overview

• داده های تاکسی نیویورک را در دریاچه داده آپلود کنید Upload NYC Taxi Data to Data Lake

• بررسی اجمالی نیازمندی های پروژه Project Requirements Overview

• بررسی اجمالی معماری راه حل Solution Architecture Overview

استخر SQL بدون سرور - نمای کلی Serverless SQL Pool - Overview

• نمای کلی بخش Section Overview

• مقدمه ای بر SQL Pool بدون سرور Introduction to Serverless SQL Pool

• کنترل هزینه استخر SQL بدون سرور Serverless SQL Pool Cost Control

• اتصال از Azure Data Studio به SQL Pool بدون سرور (اختیاری) Connect from Azure Data Studio to Serverless SQL Pool (Optional)

SQL Pool بدون سرور - Query CSV Serverless SQL Pool - Query CSV

• نمای کلی بخش Section Overview

• نمای کلی عملکرد OPENROWSET OPENROWSET Function Overview

• فایل Query Taxi Zone (فایل CSV) Query Taxi Zone File (CSV File)

• انواع داده ها را مشخص کنید Specify Data Types

• Collation را مشخص کنید Specify Collation

• پرس و جو زیر مجموعه ستون ها Query Subset of Columns

• اشکال زدایی و شناسایی خطاها Debugging & Identifying Errors

• از منبع داده خارجی استفاده کنید Use External Data Source

• فایل تقویم پرس و جو (فایل CSV) - تکلیف Query Calendar File (CSV File) - Assignment

• فایل درخواست فروشنده (ستون های نقل قول شده و فرار) Query Vendor File (Quoted and Escaped Columns)

• پرونده نوع سفر پرس و جو (فایل TSV) - تکلیف Query Trip Type File (TSV File) - Assignment

SQL Pool بدون سرور - Query JSON Serverless SQL Pool - Query JSON

• نمای کلی بخش Section Overview

• نوع پرداخت درخواستی (JSON تک خطی) - تابع JSON_VALUE Query Payment Type (Single Line JSON) - JSON_VALUE Function

• نوع پرداخت پرس و جو (JSON تک خطی) - تابع OPENJSON Query Payment Type (Single Line JSON) - OPENJSON Function

• آرایه JSON را پرس و جو کنید Query JSON Array

• JSON استاندارد را جستجو کنید Query Standard JSON

• Query چند خطی JSON (تخصیص) Query Multi Line JSON (Assignment)

استخر SQL بدون سرور - پوشه‌های پرس و جو و چندین فایل Serverless SQL Pool - Query Folders & Multiple Files

• پرس و جو پوشه ها و زیر پوشه ها Query Folders and Subfolders

• توابع فراداده فایل File Metadata Functions

SQL Pool بدون سرور - قالب‌های ستونی پرس و جو Serverless SQL Pool - Query Columnar Formats

• پرس و جو فایل پارکت تک Query Single Parquet File

• پوشه های پرس و جو و پوشه های فرعی (تکالیف) Query Folders and Sub Folders (Assignment)

• فایل های دلتا را پرس و جو کنید Query Delta files

استخر SQL بدون سرور - کشف داده ها Serverless SQL Pool - Data Discovery

• بررسی اجمالی کشف داده Data Discovery Overview

• موارد تکراری را شناسایی کنید Identify Duplicates

• بررسی کیفیت داده ها Data Quality Checks

• پیوستن به فایل ها Joining Files

• تبدیل داده ها Transform Data

• تکلیف کشف داده Data Discovery Assignment

SQL Pool بدون سرور - مجازی سازی داده ها Serverless SQL Pool - Data Virtualisation

• مروری بر مجازی سازی داده ها Data Virtualisation Overview

• مقدمه ای بر جداول خارجی Introduction to External Tables

• ایجاد جدول خارجی - CSV Create External Table - CSV

• رسیدگی به ردها Handling Rejections

• ایجاد جدول خارجی - CSV (تخصیص) Create External Table - CSV (Assignment)

• ایجاد میز خارجی - پارکت Create External Table - Parquet

• ایجاد جدول خارجی - دلتا (تخصیص) Create External Table - Delta (Assignment)

• دیدگاه ها - مقدمه Views - Introduction

• ایجاد View برای فایل های JSON Create View for JSON files

• ایجاد نمای برای فایل‌های JSON (تکالیف) Create View for JSON files (Assignment)

• هرس پارتیشن Partition Pruning

استخر SQL بدون سرور - جذب داده Serverless SQL Pool - Data Ingestion

• نمای کلی بخش Section Overview

• ایجاد جدول خارجی به عنوان (CETAS) CREATE EXTERNAL TABLE AS (CETAS)

• تبدیل به پارکت Transform to Parquet

• تبدیل به پارکت (تکالیف) Transform to Parquet (Assignment)

• JSON را به پارکت تبدیل کنید Transform JSON to Parquet

• تبدیل JSON به پارکت (تکالیف) Transform JSON to Parquet (Assignment)

• تبدیل داده های پارتیشن شده به پارکت Transform Partitioned Data to Parquet

• مقدمه ای بر رویه ذخیره شده Introduction to Stored Procedure

• تبدیل داده های پارتیشن بندی شده - راه حل Transform Partitioned Data - Solution

• Transform Partitioned Data - Solution Lab Transform Partitioned Data - Solution Lab

• ایجاد نمای (تکالیف) Create View (assignment)

استخر SQL بدون سرور - تبدیل داده ها Serverless SQL Pool - Data Transformation

• نمای کلی بخش Section Overview

• الزامات پروژه Project Requirements

• بیانیه را انتخاب کنید Select Statement

• رویه ذخیره شده Stored Procedure

• ایجاد نمای Create View

• وظیفه Assignment

خطوط لوله و محرک های سیناپس Synapse Pipelines & Triggers

• نمای کلی بخش Section Overview

• بررسی اجمالی خطوط لوله سیناپس Synapse Pipelines Overview

• اجزای خط لوله سیناپس Synapse Pipeline Components

• طراحی خط لوله انتقال - تاکسی زون Transformation Pipeline Design - Taxi Zone

• سرویس و مجموعه داده پیوندی ایجاد کنید Create Linked Service & Dataset

• ایجاد خط لوله - حذف فعالیت Create Pipeline - Delete Activity

• ایجاد خط لوله - فعالیت اسکریپت Create Pipeline - Script Activity

• ایجاد خط لوله - فعالیت رویه ذخیره شده Create Pipeline - Stored Procedure Activity

• بررسی اجمالی پارامترها و متغیرها Parameters & Variables Overview

• پارامترها و متغیرها (دمو) Parameters & Variables (Demo)

• خط لوله دینامیک Dynamic Pipeline

• طراحی خط لوله - فایل پارتیشن بندی شده Pipeline Design - Partitioned File

• ایجاد خط لوله (فایل پارتیشن بندی شده) - حذف فعالیت Create Pipeline (Partitioned File) - Delete Activity

• ایجاد خط لوله (فایل پارتیشن بندی شده) - رویه ذخیره شده/فعالیت اسکریپت Create Pipeline (Partitioned File) - Stored Procedure/ Script Activity

• ایجاد خط لوله (فایل پارتیشن بندی شده) - تخصیص (جدول طلا) Create Pipeline (Partitioned File) - Assignment (Gold Table)

• وابستگی خط لوله Pipeline Dependencies

• ماشه دستی Manual Trigger

• ماشه خودکار Automated Trigger

استخر جرقه Spark Pool

• نمای کلی بخش Section Overview

• نمای کلی استخر جرقه Spark Pool Overview

• استخر جرقه ایجاد کنید Create Spark Pool

• بررسی اجمالی نوت بوک ها Notebooks Overview

• ادغام بین spark pool و sql pool بدون سرور Integration between spark pool and serverless sql pool

• تجمیع داده های سفر Trip Data Aggregation

• خط لوله سیناپس را ایجاد کنید Create Synapse Pipeline

یکپارچه سازی Power BI Power BI Integration

• نمای کلی بخش Section Overview

• مروری بر یکپارچه سازی Power BI Power BI Integration Overview

• اتصال از PowerBI Desktop Connecting from PowerBI Desktop

• در PowerBI Workspace منتشر کنید Publish to PowerBI Workspace

• دسترسی به Power BI Access to Power BI

• ادغام Synapse Studio Power BI Synapse Studio Power BI Integration

• گزارش از استودیوی سیناپس Report from Synapse Studio

• گزارش کمپین Campaign Report

• گزارش تقاضا Demand Report

پیوند سیناپس/HTAP Synapse Link/ HTAP

• نمای کلی بخش Section Overview

• نمای کلی پیوند سیناپس Synapse Link Overview

• بررسی اجمالی پروژه Project Overview

• سرویس Cosmos DB را ایجاد کنید Create Cosmos DB Service

• آماده سازی داده ها Data Preparation

• پرس و جو با استفاده از سرور SQL Pool Query using Serverless SQL Pool

• پرس و جو با استفاده از Spark Pool Query using Spark Pool

استخر SQL اختصاصی Dedicated SQL Pool

• نمای کلی بخش Section Overview

• نمای کلی بخش Section Overview

• بررسی اجمالی اختصاصی استخر SQL Dedicated SQL Pool Overview

• استخر اختصاصی SQL ایجاد کنید Create dedicated SQL Pool

• مورد نیاز پروژه Project Requirement

• کپی در استخر اختصاصی - پلی بیس Copy to Dedicated Pool - Polybase

• کپی در استخر اختصاصی - دستور کپی Copy to Dedicated Pool - Copy Command

• اتصال به Azure Data Studio و PowerBI Connection to Azure Data Studio & PowerBI

مراحل بعدی Next Steps

• موفق باشید Good Luck

• سخنرانی پاداش Bonus Lecture