آموزش اصول اولیه برای پیشرفته: پروژه عملی آنالیز Azure Synapse - آخرین آپدیت

سرفصل ها و درس ها

معرفی Introduction

• معرفی Introduction

• معماری پروژه Project Architecture

• اسلایدهای دوره Course Slides

منشا Azure Synapse Analytics Origin of Azure Synapse Analytics

• بخش مقدمه Section Introduction

• نیاز به سیستم تحلیلی مجزا Need of separate Analytical system

• OLAP در مقابل OLTP OLAP vs OLTP

• یک Datawarehouse معمولی A typical Datawarehouse

• مقدمه دیتالیک Datalake Introduction

• انبار داده مدرن و مشکل آن Modern datawarehouse and its problem

• راه حل - Azure Synapse Analytics و اجزای آن The solution - Azure Synapse Analytics and its Components

• Azure Synapse Analytics - یک راه حل یکپارچه Azure Synapse Analytics - A Single stop solution

• خلاصه بخش Section Summary

راه اندازی محیط Environment Setup

• بخش مقدمه Section Introduction

• ایجاد یک گروه منبع در Azure Creating a resource group in Azure

• سرویس تجزیه و تحلیل Azure Synapse را ایجاد کنید Create Azure Synapse Analytics Service

• بررسی Azure Synapse Analytics Exploring Azure Synapse Analytics

• درک مجموعه داده Understanding the dataset

استخر SQL بدون سرور Serverless SQL Pool

• بخش مقدمه Section Introduction

• SQL Pool بدون سرور - مقدمه Serverless SQL Pool - Introduction

• استخر SQL بدون سرور - معماری Serverless SQL Pool - Architecture

• استخر SQL بدون سرور - مزایا و قیمت گذاری Serverless SQL Pool- Benefits and Pricing

• آپلود فایل ها در Azure Datalake Storage Uploading files into Azure Datalake Storage

• کاوش داده های اولیه Initial Data Exploration

• نحوه وارد کردن اسکریپت های SQL یا نوت بوک ipynb به Azure Synapse How to import SQL scripts or ipynb notebooks to Azure Synapse

• رفع اخطار Collation Fixing the Collation warning

• ایجاد منبع داده خارجی Creating External datasource

• ایجاد اعتبار دامنه پایگاه داده با استفاده از SAS Creating database scoped credential Using SAS

• ایجاد cred با محدوده پایگاه داده با استفاده از MI Creating Database scoped cred using MI

• حذف منابع داده موجود برای پاکسازی Deleting existing data sources for cleanup

• ایجاد فرمت فایل خارجی - نسخه ی نمایشی Creating an external file format - Demo

• ایجاد یک فرمت فایل خارجی - عملی Creating an External File Format - Practical

• ایجاد منبع داده خارجی برای ظرف تصفیه شده Creating External DataSource for Refined container

• ایجاد یک جدول خارجی Creating an External Table

• پایان بخش End of section

تاریخچه و پردازش داده ها قبل از Spark History and Data processing before Spark

• بخش مقدمه Section Introduction

• رویکرد داده های بزرگ Big Data Approach

• درک Hadoop Yarn- مدیر خوشه Understanding Hadoop Yarn- Cluster Manager

• درک Hadoop - HDFS Understanding Hadoop - HDFS

• درک Hadoop - MapReduce Distributed Computing Understanding Hadoop - MapReduce Distributed Computing

ظهور اسپارک Emergence of Spark

• بخش مقدمه Section Introduction

• معایب MapReduce Framework Drawbacks of MapReduce Framework

• ظهور اسپارک Emergence of Spark

مفاهیم اصلی اسپارک Spark Core Concepts

• بخش مقدمه Section Introduction

• اکوسیستم اسپارک Spark EcoSystem

• تفاوت هادوپ و اسپارک Difference between Hadoop & Spark

• معماری جرقه Spark Architecture

• ایجاد استخر جرقه و مزایای آن Creating a Spark Pool & its benefits

• نمای کلی RDD RDD Overview

• توابع لامبدا، نقشه و فیلتر - نمای کلی Functions Lambda, Map and Filter - Overview

• درک عملی RDD Understanding RDD in practical

• RDD- بارگذاری تنبل - تحولات و اقدامات RDD- Lazy loading - Transformations and Actions

• RDD Lineage چیست؟ What is RDD Lineage

• RDD - برنامه شمارش کلمات - نسخه ی نمایشی RDD - Word count program - Demo

• RDD - تعداد کلمات - برنامه PySpark - عملی RDD - Word count - PySpark Program - Practical

• بهینه سازی - توضیح ReduceByKey در مقابل GroupByKey Optimization - ReduceByKey vs GroupByKey Explanation

• RDD - درک در مورد مشاغل در جرقه عملی RDD - Understanding about Jobs in spark Practical

• RDD - درک تحولات باریک و گسترده RDD - Understanding Narrow and Wide Transformations

• RDD- مراحل درک - عملی RDD- Understanding Stages - Practical

• RDD- درک وظایف عملی RDD- Understanding Tasks Practical

• DAG، RDD Lineage و تفاوت ها را درک کنید Understand DAG , RDD Lineage and Differences

• معرفی API های سطح بالاتر Spark Spark Higher level APIs Intro

• Synapse Notebook - ایجاد دیتافریم عملی Synapse Notebook - Creating dataframes practical

PySpark Transformation 1 - توابع را انتخاب و فیلتر کنید PySpark Transformation 1 - Select and Filter functions

• مقدمه ای برای PySpark Transformations Introduction for PySpark Transformations

• مروری بر نوت بوک، سلول های Markdown Walkthrough on Notebook , Markdown cells

• استفاده از رایگان Databricks Community Edition برای تمرین و صرفه جویی در هزینه ها Using Free Databricks Community Edition to practise and Save Costs

• نمایش و نمایش توابع Display and show Functions

• هنگامی که از Spark Session استفاده نمی کنید توقف کنید Stop Spark Session when not in use

• انتخاب کنید و Expr را انتخاب کنید Select and SelectExpr

• عملکرد فیلتر Filter Function

• سازماندهی نوت بوک ها در یک پوشه Organizing notebooks into a folder

PySpark Transformation 2 - مدیریت Nulls، Duplicates و Aggregation PySpark Transformation 2 - Handling Nulls, Duplicates and aggregation

• درک fillna و na.fill Understanding fillna and na.fill

• شناسایی موارد تکراری با استفاده از Aggregations Identifying duplicates using Aggregations

• مدیریت موارد تکراری با استفاده از dropna Handling Duplicates using dropna

• سازماندهی نوت بوک ها در یک پوشه Organising notebooks into a folder

• خلاصه تحولات این بخش Transformations summary of this section

PySpark Transformation 3 - تبدیل و دستکاری داده ها PySpark Transformation 3 - Data Transformation and Manipulation

• withColumn برای ایجاد ستون های به روز رسانی withColumn to Create Update columns

• تبدیل و به روز رسانی ستون با ستون با تغییر نام Transforming and updating column withColumnRenamed

PySpark 4 - Synapse Spark - MSSparkUtils PySpark 4 - Synapse Spark - MSSparkUtils

• MSSpark Utilities چیست؟ What is MSSpark Utilities

• MSSpark Utils - Env utils MSSpark Utils - Env utils

• نقطه کوه چیست؟ What is mount point

• ایجاد و دسترسی به نقطه اتصال در Notebook Creating and accessing mount point in Notebook

• همه کاربردهای سیستم فایل All File System Utils

• نرم افزار Notebook - دستور خروج Notebook Utils - Exit command

• ایجاد یک استخر جرقه دیگر Creating another spark pool

• روند افزایش درخواست vCores (اختیاری) Procedure to increase vCores request (optional)

• فراخوانی نوت بوک از یک نوت بوک دیگر Calling notebook from another notebook

• فراخوانی نوت بوک از دیگری با استفاده از پارامترهای زمان اجرا Calling notebook from another using runtime parameters

• دستورات جادویی Magic commands

• اتصال دو نوت بوک به یک استخر جرقه Attaching two notebooks to a single spark pool

• دسترسی به نقاط اتصال از یک نوت بوک دیگر Accessing Mount points from another notebook

PySpark 5 - Synapse - Spark SQL PySpark 5 - Synapse - Spark SQL

• دسترسی به داده ها با استفاده از نمایش های موقت - عملی Accessing data using Temporary Views - Practical

• پایگاه داده دریاچه - بررسی اجمالی Lake Database - Overview

• درک و ایجاد پایگاه داده در پایگاه داده دریاچه Understanding and creating database in Lake Database

• استفاده از Spark SQL در نوت بوک Using Spark SQL in notebook

• جداول مدیریت شده در مقابل جداول خارجی در Spark Managed vs External tables in Spark

• اشتراک گذاری ابرداده بین Spark pool و Serverless SQL Pool Metadata sharing between Spark pool and Serverless SQL Pool

• حذف پوشه های ناخواسته Deleting unwanted folders

PySpark Transformation 6 - Join Transformation PySpark Transformation 6 - Join Transformations

• آپلود فایل های مورد نیاز برای Joins Uploading required files for Joins

• نوت بوک پایتون تا یونیون Python notebooks till Union

• پیوستن داخلی Inner join

• چپ پیوستن Left Join

• حق عضویت Right Join

• اتصال کامل بیرونی Full outer join

• نیمه چپ پیوستن Left Semi Join

• ضد چپ و Cross Join Left anti and Cross Join

• عملیات اتحادیه Union Operation

• انجام Join Transformation در مجموعه داده پروژه Performing Join Transformation on Project Dataset

• خلاصه تحولات انجام شده Summary of Transformations performed

PySpark Transformation 7 - دستکاری و مرتب سازی رشته ها PySpark Transformation 7 - String Manipulation and sorting

• برای تغییر فضاها، تابع را جایگزین کنید Replace function to change spaces

• نوت بوک PySpark برای این بخش PySpark Notebook for this section

• توابع Split و Concat Split and concat functions

• ترتیب بر اساس و مرتب سازی Order by and sort

• خلاصه بخش Section Summary

PySpark Transformation 8 - توابع پنجره PySpark Transformation 8 - Window Functions

• تابع شماره ردیف Row number function

• PySpark Notebook در این بخش استفاده شده است PySpark Notebook used in this section

• تابع رتبه Rank Function

• تابع رتبه متراکم Dense Rank function

PySpark Transformation 9 - Conversions and Pivoting PySpark Transformation 9 - Conversions and Pivoting

• تبدیل با استفاده از تابع ریخته گری Conversion using cast function

• نیاز به نوت بوک PySpark برای کاستینگ و سخنرانی های محوری PySpark Notebook need for casting and pivoting lectures

• تابع محوری Pivot function

• با استفاده از تابع پشته، محور را بردارید Unpivot using stack function

• استفاده از to date برای تبدیل ستون تاریخ Using to date to convert date column

PySpark Transformation 10 - تعریف و مدیریت طرحواره PySpark Transformation 10 - Schema definition and Management

• در این سخنرانی از نوت بوک PySpark استفاده شده است PySpark Notebook used in this lecture

• StructType و StructField - نسخه ی نمایشی StructType and StructField - Demo

• اجرای طرحواره صریح با StructType و StructField Implementing explicit schema with StructType and StructField

PySpark Transformation 11 - UDFs PySpark Transformation 11 - UDFs

• توابع تعریف شده توسط کاربر - نسخه ی نمایشی User Defined Functions - Demo

• پیاده سازی UDF در نوت بوک Implementing UDFs in Notebook

• نوشتن داده های تبدیل شده در ظرف پردازش شده Writing transformed data to Processed container

استخر SQL اختصاصی Dedicated SQL Pool

• استخر اختصاصی SQL - نسخه ی نمایشی Dedicated SQL pool - Demo

• معماری اختصاصی استخر SQL Dedicated SQL Pool Architecture

• نحوه توزیع بر اساس DWU How distribution takes places based on DWU

• عواملی که باید در هنگام انتخاب استخر SQL اختصاصی در نظر گرفته شوند Factors to consider when choosing dedicated SQL pool

• ایجاد استخر SQL اختصاصی در Synapse Creating Dedicated SQL pool in Synapse

• راه هایی برای کپی داده ها در Dedicated SQL Pool Ways to copy data into Dedicated SQL Pool

• دستور کپی برای کپی در استخر اختصاصی SQL Copy command to copy to dedicated SQL pool

• فهرست فروشگاه ستون‌های گروهی (اختیاری) Clustured Column Store index(optional)

• انواع توزیع ها یا الگوهای اشتراک گذاری Types of Distributions or Sharing patterns

• استفاده از Pipeline برای کپی کردن در SQL Pool اختصاصی Using Pipeline to Copy to dedicated SQL Pool

گزارش داده ها به Power BI Reporting data to Power BI

• بخش مقدمه Section Introduction

• نصب Power BI Desktop Installing Power BI Desktop

• ایجاد گزارش از Power BI Desktop Creating report from Power BI Desktop

• ایجاد کاربر جدید در Azure AD برای ایجاد فضای کاری (در صورت استفاده از حساب شخصی) Creating new user in Azure AD for creating workspace (if using personal account)

• ایجاد یک فضای کاری مشترک در Power BI Creating a shared workspace in Power BI

• انتشار گزارش در فضای کاری مشترک Publishing report to Shared Workspace

• دسترسی به Power BI از Azure Synapse Analytics Accessing Power BI from Azure Synapse Analytics

• فایل Power BI .pbix را از اینجا دانلود کنید Download Power BI .pbix file from here

• ایجاد مجموعه داده و گزارش از Synapse Analytics Creating Dataset and report from Synapse Analytics

• پایان بخش Power BI Concluding the Power BI Section

• خلاصه و پایان اجرای پروژه Summary and end of project implementation

Spark - تکنیک های بهینه سازی Spark - Optimisation Techniques

• معرفی بخش بهینه سازی Optimisation Section Intro

• آپلود فایل های مورد نیاز برای بهینه سازی Uploading required files for Optimisation

• سطوح بهینه سازی جرقه Spark Optimisation levels

• از استفاده از تابع Collect خودداری کنید Avoid using Collect function

• ساختن نوت بوک در پوشه خاص Making notebook into particular folder

• از InferSchema اجتناب کنید Avoid InferSchema

• استفاده از Cache Persist 1 - درک سریال سازی و سریال زدایی Use Cache Persist 1 - Understanding Serialization and DeSerialization

• از Cache Persist 2 استفاده کنید - نحوه کار کش یا ماندگاری - نسخه نمایشی Use Cache Persist 2 - How cache or persist will work - Demo

• استفاده از Cache Persist 3 - درک عملی کش Use Cache Persist 3 - Understanding cache practically

• از Cache Persist 4 - Persist - What is persist و سطوح مختلف ذخیره سازی استفاده کنید Use Cache Persist 4 - Persist - What is persist and different storage levels

• از Cache Persist - Notebook برای ماندگاری با تمام سطوح ذخیره سازی استفاده کنید Use Cache Persist - Notebook for persist with all storage levels

• از Cache Persist 5 - Persist - MEMORY_ONLY استفاده کنید Use Cache Persist 5 - Persist - MEMORY_ONLY

• از Cache Persist 6 - Persist - MEMORY AND DISK استفاده کنید Use Cache Persist 6 - Persist - MEMORY AND DISK

• استفاده از Cache Persist 7 - Persist - MEMORY_ONLY_SER (فقط Scala) Use Cache Persist 7 - Persist - MEMORY_ONLY_SER (Scala Only)

• استفاده از Cache Persist 8 - Persist - MEMORY_AND_DISK_SER (فقط Scala) Use Cache Persist 8 - Persist - MEMORY_AND_DISK_SER ( Scala Only)

• از Cache Persist 9 - Persist - DISK ONLY استفاده کنید Use Cache Persist 9 - Persist - DISK ONLY

• استفاده از Cache Persist 10 - Persist - OFF HEAP (فقط Scala) Use Cache Persist 10 - Persist - OFF HEAP (Scala Only)

• استفاده از Cache Persist 11 - Persist - MEMORY_ONLY_2 (فقط PySpark) Use Cache Persist 11 - Persist - MEMORY_ONLY_2 (PySpark only)

• از پارتیشن بندی 1 - درک پارتیشن بندی - دمو ​​استفاده کنید Use Partitioning 1 - Understanding partitioning - Demo

• استفاده از پارتیشن بندی 2 - درک پارتیشن بندی - عملی Use Partitioning 2 - Understand partitioning - Practical

• Repartiton and coalesce 1 - درک مجدد پارتیشن و ادغام - دمو Repartiton and coalesce 1 - Understanding repartition and coalesce - Demo

• Repartiton and coalesce 2 - درک مجدد پارتیشن و ادغام - عملی Repartiton and coalesce 2 - Understanding repartition and coalesce - Practical

• متغیرهای پخش 1 - درک متغیرهای پخش - دمو Broadcast variables 1 - Understanding broadcast variables - Demo

• متغیرهای پخش 2 - پیاده سازی متغیرهای پخش در نوت بوک Broadcast variables 2 - Implementing broadcast variables in notebook

• از Kryo Serializer استفاده کنید Use Kryo Serializer

دریاچه دلتا Delta Lake

• بخش مقدمه Section Introduction

• معایب ADLS Drawbacks of ADLS

• دریاچه دلتا چیست؟ What is Delta lake

• معماری Lakehouse Lakehouse Architecture

• در حال بارگذاری فایل مورد نیاز برای دریاچه دلتا Uploading required file for Delta lake

• مشکلات با Azure Datalake - عملی Problems with Azure Datalake - Practical

• ایجاد دریاچه دلتا Creating a Delta lake

• آشنایی با فرمت دلتا Understanding Delta format

• محتویات لاگ تراکنش یا فایل لاگ دلتا - عملی Contents of Transaction Log or Delta log file - Practical

• محتویات نسخه نمایشی گزارش تراکنش Contents of a transaction log demo

• ایجاد جدول دلتا توسط Path با استفاده از SQL Creating delta table by Path using SQL

• ایجاد جدول دلتا در متاستور با استفاده از Pyspark و SQL Creating delta table in Metastore using Pyspark and SQL

• اجرای طرحواره - فایلهای مورد نیاز برای درک اجرای طرحواره - Schema Enforcement - Files required for Understanding Schema Enforcement -

• اجرای طرحواره چیست - نسخه ی نمایشی What is schema enforcement - Demo

• اجرای طرحواره - عملی Schema Enforcement - Practical

• تکامل طرحواره - عملی Schema Evolution - Practical

• 16. نسخه سازی و سفر در زمان 16. Versioning and Time Travel

• فرمان خلاء Vacuum command

• تبدیل به دستور دلتا Convert to Delta command

• ایست های بازرسی در دلتا log Checkpoints in delta log

• دستور بهینه سازی - نسخه ی نمایشی Optimize command - Demo

• دستور بهینه سازی - عملی Optimize command - Practical

• اعمال UPSERT با استفاده از دستور MERGE Applying UPSERT using MERGE Command

نتیجه Conclusion

• نتیجه گیری دوره Course Conclusion

• سخنرانی پاداش Bonus Lecture