آموزش دوره جامع مهندسی داده Azure (انگلیسی) - آخرین آپدیت

سرفصل ها و درس ها

مقدمه ای بر مهندسی داده Azure Introduction to Azure Data Engineering

• مقدمه Introduction

SQL SQL

• مقدمه ای بر SQL 001. Introduction to SQL

• نصب SQL Server 002. SQL Server Installation

• نصب SQL Server 2022 Install SQL Server 2022

• ایجاد و حذف پایگاه داده 003. Create And Drop Database

• پایگاه‌های داده سیستمی 004. System Databases

• ایجاد و حذف جداول Create and Drop Tables

• درج داده در جدول 006. Insert Data In Table

• انتخاب 007. Select

• نصب پایگاه داده نمونه AdventureWorks 008. InstallAdventureWorksSampleDB

• مقادیر منحصر به فرد را دریافت کنید 009. GetUniqueValues

• مرتب سازی داده ها 010. Sort Data

• کامنت ها 011. Comments

• فیلتر کردن داده ها 012. Filter Data

• فیلتر با کاراکترهای وحشی 013.Filter With Wild Characters

• تابع تجمیع 014. Aggregate Function

• گروه بندی ردیف ها 015. Grouping Rows

• انتخاب..به داخل 016. Select..Into

• ایجاد جدول با کلید اصلی 017. Create Table With Primary Key

• ایجاد جدول با محدودیت NOT NULL 018. Create Table With NOT NULL Constraint

• ایجاد جدول با محدودیت منحصر به فرد 019. Create Table With Unique Constraint

• ایجاد جدول با محدودیت Check 020. Create Table With Check Constraint

• ایجاد جدول با محدودیت Default 021. Create Table With Default Constraint

• ایجاد جدول با AutoIncrement 022. Create Table With AutoIncrement

• به روز رسانی ردیف ها در جدول 023.Update Rows In Table

• حذف ردیف ها از جدول 024. Delete Rows From Table

• توابع رشته - بخش 1 025. String Functions - Part 1

• توابع رشته - بخش 2 026. String Functions - Part 2

• سناریو - ترکیب نام ها 027. Scenario - Combine Names

• سناریو - استخراج نام های اول و آخر 028. Scenario - Extract First And Last Names

• توابع تاریخ و زمان - بخش 1 029. Date Time Functions - Part 1

• توابع تاریخ و زمان - بخش 2 030. Date Time Functions - Part 2

• توابع تاریخ و زمان - بخش 3 031. Date Time Functions - Part 3

• نوع داده - بخش 1 - اعداد صحیح 032. Data Type - Part 1 - Integers

• انواع داده - بخش 2 - عددی تقریبی 033. Data Types - Part 2 - Approximate Numeric

• انواع داده - بخش 3 - تاریخ و زمان 034. Data Types - Part 3 - Date Time

• انواع داده - بخش 4 - رشته ها 035. Data Types - Part 4 - Strings

• انواع داده - بخش 5 - شناسه منحصر به فرد 036. Data Types - Part 5 - Unique identifier

• انواع داده - بخش 6 - بیت 037. Data Types - Part 6 - bit

• تبدیل نوع داده 038. Data Type Conversion

• اتصالات بخش 1 - مقدمه ای بر اتصالات 039. Joins Part 1 – Introduction to joins

• اتصالات بخش 2 - استفاده از اتصالات 040. Joins Part 2- Using Joins

• اتصالات بخش 3 - اتصال 3 جدول 041. Joins Part 3- Join 3 tables

• اتصالات بخش 4 - استفاده از عبارات 042. Joins Part 4- Using Expressions

• اتصالات بخش 4 - اتصالات خارجی 043. Joins Part 4- Outer Joins

• سناریو - اتصالات بخش 6 - خودکار پیوند 044. Scenario - Joins Part 6 – Self Join

• واقعیت و ابعاد 045. Fact And Dimensions

• تابع IIF 046. IIF Function

• CASE 047. CASE

• IIF و CASE شرایط متعدد 048. IIF & CASE multiple conditions

• سناریو - مرتب سازی سفارشی 049. Scenario - Custom sorting

• UNION و UNION ALL 50. UNION & UNION ALL

• INTERSECT 051. INTERSECT

• EXCEPT 052. EXCEPT

• محدودیت کلید خارجی 053. Foreign key constraint

• زیرکوئری - بخش 1 054. Subquery - PART 1

• زیرکوئری - بخش 2 - IN و NOT IN 055. Subquery - PART2 -IN & NOT IN

• زیرکوئری - بخش 3 - به روز رسانی 056. Subquery - PART3 - Update

• زیرکوئری - بخش 4 - جدول مشتق شده 057.Subquery - PART 4-Derived Table

• زیرکوئری - بخش 5 - EXISTS، زیرکوئری مرتبط 058. Subquery - PART 5 - EXISTS, Correlated subquery

• سناریو - زیرکوئری - بخش 6 - دریافت سالانه سهم 059. Scenario - Subquery - PART 6 - Get contribution yearwise

• بند HAVING 060. HAVING Clause

• بند TOP 061. TOP Clause

• سناریو - دریافت محصولات برتر و پایانی 062. Scenario - Get TOP & BOTTOM Products

• توابع پنجره - بخش 1 - ROW_NUMBER 063. Window Functions-PART1 - ROW_NUMBER

• توابع پنجره - بخش 2 - RANK و DENSE_RANK 064. Window Functions - PART 2 - RANK & DENSE_RANK

• توابع پنجره - بخش 3 - LAG و LEAD 065. Window Functions - PART 3-LAG & LEAD

• توابع پنجره - بخش 4 - FIRST_VALUE و LAST_VALUE 066. Window Functions - PART4 - FIRST_VALUE & LAST_VALUE

• طبقه بندی SQL 067. SQL Classification

• ALTER TABLE - بخش 1 - ستون ها 068. ALTER TABLE - PART 1 - Columns

• ALTER TABLE - بخش 2 - محدودیت ها 069. ALTER TABLE - PART 2- Constraints

• OFFSET 070. OFFSET

• تابع COALESCE 071. COALESCE Function

• MERGE 072. MERGE

• SCHEMA 073. SCHEMA

• GROUP BY با ROLLUP 074. GROUP BY WITH ROLLUP

• GROUP BY با CUBE 075. GROUP BY WITH CUBE

• PIVOT 076. PIVOT

• UNPIVOT 077. UNPIVOT

• VIEWs 078. VIEWS

• عبارت جدول مشترک - بخش 1 - مقدمه 079. Common Table Expression - Part1 - Introduction

• عبارت جدول مشترک - بخش 2 - چندبخشی 080. Common TableExpression - PART 2 - MultiPart

• عبارت جدول مشترک - بخش 3 - بازگشتی 081. Common Table Expression - PART 3 - Recursion

• متغیرها 082. Variables

• IF..ELSE 083. IF..ELSE

• حلقه WHILE 084. WHILE LOOP

• جداول موقت 085. Temp Tables

• رویه های ذخیره شده 086. Stored Procedures

• تبدیل جدول به JSON 087. Converting a table to JSON

• ایجاد خروجی JSON تودرتو 088. Creating Nested JSON Output

• بند خروجی 089. Output Clause

• ابعاد با تغییر آهسته 090. Slowly Changing Dimensions

• شاخص ها - بخش 1 - شاخص خوشه ای 091.Indexes-Part1-ClusteredIndex

• شاخص ها - بخش 2 - شاخص غیر خوشه ای 092. Indexes - Part 2 - NonClusteredIndex

• شاخص ها - بخش 3 - تئوری 093. Indexes-Part3 - Theory

• شاخص ها - بخش 4 - جستجوی شاخص 094. Indexes - Part 4 - Index Seek

سناریوهای SQL SQL Scenarios

• 1. پیدا کردن میانگین 1. Find Average

• 2. چالش اتصالات 2. Joins Challenge

• 3. شناسایی و حذف ردیف های تکراری 3. Identify and delete duplicate rows

• 4. ادغام سفارشی 4. Custom Merging

• 005. داده های گمشده - یافتن بخش های گمشده 005.MissingData-FindMissingDepartments

• 006. یافتن دومین حقوق بالا 006.Find2ndLargestSalary

• 7. دومین حقوق بالا در هر بخش 7. 2nd Largest Salary In Each Department

• 8. شماره گذاری ردیف ها 8. RowNumbering

• 9. یافتن ردیف های متناوب 9. Find Alternate Rows

• 10. Palindrome 10. Palindrome

• 11. یافتن ایمیل های تکراری 11. FindDuplicateEmails

• 12. به روز رسانی جنسیت صحیح 12. UpdateCorrectGender

• 13. تبدیل اطلاعات دانش آموز 13. Transform Student Info

• 14. طبقه بندی نقص 14. Defect Classification

• 015. مجموع در حال اجرا روزانه 015. Daily Running Total

• 16. مجموع MTD 16. MTD Total

• 17. مجموع QTD 17. QTD Total

• 18. مجموع YTD 18. YTD Total

• 19. فروش سال قبل و رشد سال به سال 19. Previous Year Sales And YOY Growth

• 20. مجموع متحرک 3 ماهه 20. 3 month moving sum

4. انبار داده 4. Data warehousing

• 1. مقدمه ای بر انبار داده 1.Introduction to DataWarehousing

• 2. بارگذاری داده ها 2. Data Loads

• 3. مدل های طرح بندی ذخیره سازی 3. Storage Layout Models

• 4. توزیع گرد رابین 4. Robin Round Distribution

• 5. توزیع هش 5. Hash Distribution

• 6. خواص ACID 6.ACID Properties

• 7. نرمال سازی 7. Normalization

5. Azure 5. Azure

• 1. محاسبات ابری 1. Cloud Computing

• 2. ارائه دهندگان ابر 2. Cloud Providers

• 3. مقدمه Azure 3. Azure Introduction

• 4. ایجاد حساب آزمایشی Azure 4. Create Azure Trial Account

• 5. شروع کار با Azure 5. Getting Started With Azure

• 6. ایجاد Data Lake 6. Create Data Lake

• 7. ایجاد سرور و پایگاه داده Azure SQL 7. Create Azure SQL Server And Database

• 8. ایجاد Data Factory 8. CreateDataFactory

• 9. ارتقا به پرداخت به ازای استفاده 9. Upgrade To Pay-as-you-go

6. Azure Data Factory 6.Azure Data Factory

• 1. مقدمه 1. Introduction

• 2. کپی داده ها در Datalake 2. Copy Data Within Datalake

• 3. کپی کل پوشه فایل های خاص 3. Copy Entire Folder Specific Files

• 4. کپی داده ها از ADLS به SQLDB و بالعکس 4. Copy data from ADLS to SQLDB & vice versa

• 5. کپی داده ها ستون های اضافی 5. Copy Data Additional Columns

• 6. تنظیم فعالیت متغیر 6. Set Variable Activity

• 7. کپی فایل ها در بازه زمانی 7. Copy files in timeframe

• 8. دریافت فعالیت متادیتا 8. Get MetaData Activity

• 9. فعالیت For Each 9. For Each Activity

• 10. کپی هر فایل در جدول جدید 10. Copy Each File to New table

• 11. برش و بارگذاری 11. Truncate & load

• 12. کپی داده ها با upsert 12. Copy data with upsert

• 13. فعالیت اضافه کردن متغیر 13. Append Variable Activity

• 14. استفاده از کوئری های SQL در فعالیت کپی داده ها 14. Using SQL Queries In Copy Data Activity

• 15. نگاشت ستون ها در فعالیت کپی داده ها 15. Column Mapping In Copy Data Activity

• 16. فعالیت حذف 16. Delete Activity

• 17. کپی داده ها با رویه ذخیره شده 17. Copy Data With Stored Procedure

• 18. فعالیت رویه ذخیره شده 18. Stored Procedure Activity

• 19. فعالیت Lookup 19. Lookup Activity

• 20. فعالیت Filter 20. Filter Activity

• 21. فعالیت IF 21. IF Activity

• 22. فعالیت Switch 22. Switch Activity

• 23. فعالیت Script 23. Script Activity

• 24. فعالیت Validation 24. Validation Activity

• 25. تبدیل CSV به JSON 25. Convert CSV to JSON

• 26. کپی JSON به پایگاه داده SQL 26. Copy JSON to SQL DB

• 27. فعالیت اجرای پایپ لاین 27. Execute Pipeline Activity

• 28. کپی داده ها در صورت وجود فایل 28. Copy Data If File Exists

• 29. پارامترها در مقابل متغیرها 29. Parameters Vs Variables

• 30. حذف فایل های خالی 30. Delete Blank Files

• 31. کپی CSV بدون هدر 31. Copy Header Less CSV

• 32. منطق تلاش مجدد 32. Retry Logic

• 33. رفتار کپی 33. Copy Behavior

• 34. حداکثر ردیف در هر فایل 34. Max Rows Per File

• 35. تقسیم داده ها بر اساس معیار واحد 35. Split Data Single Criteria

• 36. تقسیم داده ها بر اساس معیارهای متعدد 36. Split Data Multiple Criteria

• 37. ادغام داده ها از چندین فایل 37. Consolidate Data From Multiple Files

• 38. ادغام داده ها از چندین پوشه 38. Consolidate Data From Mutiple Folders

• 39. کپی داده ها نگاشت های سفارشی جدول واحد 39. Copy Data Custom Mappings SingleTable

• 40. کپی داده ها نگاشت های سفارشی - جداول متعدد 40. Copy Data Custom Mappings - MultipleTables

• 41. کپی کاراکتر پایپ داده ها 41. Copy Data Pipe Character

• 42. کپی کاراکتر نقل قول داده ها 42. Copy Data Quote Character

• 43. مقدمه ای بر DataFlows 43. Introduction To DataFlows

• 44. تبدیل Select 44. Select Transformation

• 45. تبدیل Sort 45. SortTransformation

• 46. تبدیل Filter 46. Filter Transformation

• 47. تبدیل ستون مشتق شده 47. Derived Column Transformation

• 48. تبدیل تقسیم شرطی 48. Conditional Split Transformation

• 49. تبدیل Cast 49. Cast Transformation

• 50. تبدیل کلید جانشین 50. Surrogate Key Transformation

• 51. تبدیل Aggregate 51.Aggregate Transformation

• 52. تبدیل Pivot 52. Pivot Transformation

• 53. تبدیل Unpivot 53. Unpivot Transformation

• 54. تبدیل Rank 54.Rank Transformation

• 55. تبدیل Window 55. Window Transformation

• 56. تبدیل Union 56. Union Transformation

• 57. تبدیل Lookup 57. Lookup Transformation

• 58. تبدیل Join 58. Join Transformation

• 59. تبدیل Exists 59. Exists Transformation

• 60. تبدیل Flatten 60. Flatten Transformation

• 61. تبدیل Parse 61. Parse Transformation

• 62. تبدیل Stringify 62. Stringify Transformation

• 65. زمان اجرا ادغام 65. Integration Runtime

• 66. نصب زمان اجرای ادغام خود میزبانی شده 66. Install Self Hosted Integration Runtime

• 67. کپی داده ها از محلی به ADLS 67.Copy Data From Local To ADLS

• 68. کپی داده ها از محلی به Azure SQL DB 68. Copy Data From Local to Azure SQL DB

• 69. کپی داده ها پایگاه داده SQL محلی به پایگاه داده SQL Azure 69. Copy Data Local SQL db to Azure SQL db

• 070. کپی جداول متعدد از پایگاه داده SQL محلی به پایگاه داده SQL Azure 070. Copy Multiple Tables From Local sql DB to Azure sql DB

• 071. استفاده از Key Vault 071. Using Key Vault

• 072. فعال سازی برنامه ریزی شده 072. Schedule Trigger

• 073. فعال سازی رویداد ذخیره سازی 073.StorageEventTrigger

• 75. کپی فایل ها بر اساس انواع فایل 75. CopyFilesOnBasisOfFileTypes

• 076. بارگذاری افزایشی از ADLS به SQLdb با استفاده از Staging 076.IncrementalLoadFromADLStoSQLdbUsingStaging

• 077. بارگذاری افزایشی از ADLS به SQLdb با استفاده از Dataflow 077.IncrementalLoadFromADLStoSQLdbUsingDataflow

• 078. بارگذاری افزایشی از ADLS به SQLdb - جداول متعدد با استفاده از زمان بندی فایل 078.IncrementalLoadFromADLStoSQLdb-MultipleTablesUsingFileTimeStamp

• 079. بارگذاری افزایشی از ADLS به SQLdb - با استفاده از تابع هش 079.IncrementalLoadFromADLStoSQLdb-UsingHashFunction

7. مقدمه ای بر Databricks 7.Introduction To Databricks

• 1. مقدمه ای بر Databricks 1. Introduction To Databricks

• 2. ثبت نام نسخه جامعه 2. Community Edition Sign Up

• 3. مرور کلی پلتفرم Databricks 3. Databricks Platform Overview

8. برنامه نویسی پایتون 8.Python Programming

• 1. مقدمه و نصب 1. Introduction And Installation

• 2. چاپ 2. print

• 3. متغیرها 3. Variables

• 4. الحاق 4. Concatenate

• 5. درون یابی 5. Interpolation

• 6. اگر..در غیر این صورت 6. If..else

• 7. ورودی 7. Input

• 8. اگر..الیف..در غیر این صورت 8. IF..ELIF..ELSE

• 9. حلقه برای 9. For..Loop

• 10. حلقه در حالی که 10. While..Loop

• 11. Break و Continue 11. Break&Continue

• 12. لیست ها - بخش 1 - مقدمه و ایندکس گذاری 12. Lists-Part1-IntroductionAndIndexing

• 13. لیست ها - بخش 2 - طول، وجود و حلقه 13. Lists-Part2-Len,Existence&Loop

• 14. لیست ها - بخش 3 - اضافه کردن و حذف موارد 14. Lists-Part 3 – Add&RemoveItems

• 15. لیست ها - بخش 4 - شمارش، کپی، معکوس و مرتب سازی 15. Lists-Part4-Count,Copy,Reverse&Sort

• 16. لیست ها - بخش 5 - به روز رسانی لیست ها 16. Lists-Part5-UpdatingLists

• 17. Set 17. Set

• 18. Tuple 18. Tuple

• 19. Dictionary 19. Dictionary

• 20. کامنت ها 20. Comments

• 21. عملیات رشته - بخش 1 21. StringOperations-Part1

• 22. عملیات رشته - بخش 2 22. StringOperations-Part2

• 23. عملیات رشته - بخش 3 23.StringOperations-Part3

• 24. Comprehensions لیست 24. ListComprehensions

• 25. dir 25. dir

• 26. تاریخ و زمان - بخش 1 - ماژول datetime 26. DateTime-Part1-datetimeModule

• 27. تاریخ و زمان - بخش 2 - timedelta و timestamp 27. DateTime-Part2-timedelta&timestamp

• 28. تاریخ و زمان - بخش 3 - ماژول monthdelta 28. DateTime-Part3-monthdeltaModule

• 29. تاریخ و زمان - بخش 4 - ماژول relativedelta 29. DateTime-Part4-relativedeltaModule

• 30. تاریخ و زمان - بخش 5 - قالب بندی 30.DateTime-Part5-Formatting

• 31. مدیریت استثناء 31.ExceptionHandling

• 32. None 32. None

• 33. Random 33. Random

• 34. توابع - بخش 1 - مقدمه 34. Functions-Part1-Introduction

• 35. توابع - بخش 2 - دامنه متغیر 35. Functions-Part2-ScopeOfVariable

• 36. توابع - بخش 3 - آرگومان ها 36. Functions-Part3-Arguments

• 37. توابع - بخش 4 - DocStrings 37.Functions-Part4-DocStrings

• 38. Lambda 38. Lambda

• 39. Map 39. Map

• 40. Reduce 40. Reduce

• 41. بازگشت 41. Recursion

• 42. Generators 42. Generators

• 43. Decorators 43. Decorators

9. مبانی کلان داده 9. Big Data Fundamentals

• 1. مقدمه ای بر کلان داده 1. IntroductionToBigData

• 2. تکامل کلان داده 2. Evolution Of Big Data

• 3. محاسبات توزیع شده 3. Distributed Computing

• 4. ویژگی ها 4. Features

• 5. اکوسیستم Hadoop 5. Hadoop Ecosystem

• 6. انواع پردازش 6. TypesOfProcessing

10. Databricks و PySpark 10.Databricks & PySpark

• 1. مقدمه ای بر Databricks و PySpark 1. IntroductionToDatabricksAndPyspark

• 2. مقدمه ای بر Apache Spark 2. Introduction To Apache Spark

• 3. اجزاء و API اسپارک 3. SparkComponents And API

• 4. معماری اسپارک 4. Spark Architecture

• 5. RDD 5. RDD

• 6. ایجاد RDD از لیست 6. Create RDD from List

• 7. پارتیشن های کنترل در RDD 7. Control Partitions In RDD

• 8. ایجاد RDD از فایل متنی 8. CreateRDDfromTextfile

• 9. تبدیل ها در RDD 9. Transformations On RDD

• 10. گراف خط تبار 10. Lineage Graph

• 11. درک مبانی DAG 11. Understanding DAG fundamentals

• 12. کار Mapreduce 12. Mapreduce Working

• 13. ReduceByKey در مقابل ReduceByKey محلی 13. ReduceByKey Vs ReduceByKey Locally

• 14. GroupByKey 14. GroupByKey

• 15. تبدیل فیلتر بر روی RDD 15. Filter Transformation On RDD

• 16. تبدیل SortBy و SortByKey بر روی RDD 16. SortBy&SortByKeyTransformationsOnRDD

• 017. دریافت بالا و پایین از RDD 017. Extract Top Bottom From RDD

• 18. ذخیره RDD به عنوان فایل متنی 18. Save RDD as Textfile

• 19. Coalesce و Repartition بر روی RDD 19. Coalesce And Repartition On RDD

• 20. مقدمه ای بر Accumulators 20. IntroductionToAccumulators

• 21. پیاده سازی Accumulators 21. Implementing Accumulators

• 22. متغیرهای Broadcast 22. Broadcast Variables

• 23. مقدمه ای بر Dataframes 23. Introduction To Dataframes

• 24. خواندن CSV در DataFrame 24. ReadCSVInDataframe

• 25. بینش DataFrame 25. DataFrameInsights

• 26. انتخاب ستون ها از DataFrame 26. SelectColumnsFromDataFrame

• 27. اضافه کردن و اصلاح ستون ها در DataFrame 27. Add Modify Columns In DataFrame

• 28. حذف ستون ها در DataFrame 28. Drop Columns In DataFrame

• 29. تغییر نام ستون ها در DataFrame 29. RenameColumnsInDataFrame

• 30. مرتب سازی ستون ها در DataFrame 30. SortColumnsInDataFrame

• 31. فیلتر کردن داده ها در DataFrame 31. FilterDataInDataFrame

• 32. حذف موارد تکراری از DataFrame 32. RemoveDuplicatesFromDataFrame

• 33. ترکیب DataFrame ها 33. CombineDataFrames

• 34. فیلترهای مبتنی بر الگو در DataFrame 34. PatternBasedFiltersInDataframe

• 35. اضافه کردن ستون بر اساس شرط در PySpark 35. AddColumnOnBasisOfConditionInPyspark

• 36. تبدیل مورد در DataFrame 36. CaseConversionInDataFrame

• 37. تجمیع ها بر روی DataFrame 37. AggregationsOnDataFrame

• 38. تجمیع ها با GroupBy 38. AggregationsWithGroupBy

• 39. Pivot و Unpivot بر روی DataFrame 39.Pivot&UnpivotOnDataFrame

• 40. توابع پنجره 40. WindowFunctions

• 41. پر کردن مقادیر Null در DataFrame 41. FillNullValuesInDataFrame

• 42. گزینه های خواندن CSV 42. ReadCSVoptions

• 43. اعمال اسکما بر روی DataFrame 43. ImposeSchemaOnDataFrame

• 44. حالت های نوشتن در DataFrame 44. WriteModesInDataFrame

• 45. توابع تاریخ 45. DateFunctions

• 46. تبدیل RDD به DF و بالعکس 46. ConvertRddtoDFandViceVersa

• 47. Explode 47. Explode

• 48. کار با ستون نوع آرایه 48. WorkingWithArraytypeColumn

• 49. dbutils 49. dbutils

• 50. دسترسی به ADLS gen2 با کلید دسترسی 50. AccessADLSgen2UsingAccessKey

• 51. ثبت نام برای Azure Databricks 51. SignUpForAzureDatabricks

• 52. ویجت ها 52. Widgets

• 53. فراخوانی نوت بوک های دیگر 53. CallingOtherNotebooks

• 54. خواندن فایل های JSON 54. ReadJsonFiles

• 55. خواندن چندین فایل و دریافت نام فایل ها 55. ReadMultipleFilesAndGetFileNames

• 56. فرمت فایل Parquet 56. ParquetFileFormat

• 57. دسترسی به ADLS با استفاده از توکن SAS 57. AccessADLSusingSAStoken

• 58. دسترسی به ADLS با استفاده از OAUTH 58. AccessADLSusingOAUTH

• 59. خواندن و نوشتن فایل های Parquet 59. Read&WriteParquetFiles

• 60. فرمت Delta 60. DeltaFormat

• 61. ایجاد نماهای موقت 61. CreateTempViews

• 62. ایجاد جداول مدیریت شده و غیر مدیریت شده 62. CreateManagedAndUnManagedTables

• 63. پارتیشن بندی 63. Partitioning

• 64. Bucketing 64. Bucketing

• 65. کنترل تعداد رکوردها هنگام نوشتن 65. ControlNumberOfRecordsWhileWriting

• 66. حداکثر بایت های پارتیشن 66. MaxPartitionBytes

• 67. طرح های اجرای کوئری اسپارک 67. SparkQueryExecutionPlans

• 68. اتصالات 68. Joins

• 69. طرح های اجرای اسپارک برای تبدیل ها 69. SparkExecutionPlansForTransformations

• 70. الگوریتم BroadCast Hash Join 70. BroadCastHashJoinAlgorithm

• 71. الگوریتم Sort Merge Join 71. SortMergeJoinAlgorithm

• 72. الگوریتم Shuffle Hash Join 72. ShuffleHashJoinAlgorithm

• 73. Sort Merge Bucket Join 73. SortMergeBucketJoin

• 74. راهنمایی های Join 74. JoinHints

• 75. SparkSQL 75. SparkSQL

• 76. مدیریت حافظه اسپارک 76. SparkMemoryManagement

• 77. جمع آوری زباله 77. GarbageCollection

• 78. ترمینولوژی CPU 78. CPUTerminologies

• 79. محاسبات و کلاستر های Databricks 79. DatabricksCompute&Clusters

• 80. مدیر کلاستر 80. ClusterManager

• 81. تخصیص منابع 81. ResourceAllocation

• 82. تخصیص پویا 82. DynamicAllocation

• 83. سریال سازی و دسریال سازی 83. SerializationAndDeserialization

• 84. کش و نگهداری 84. CacheAndPersist

• 85. توابع هش 85. HashFunctions

• 86. JDBC 86.JDBC

• 087. بارگذاری افزایشی ADLS به SQLdb - جداول متعدد با استفاده از Watermark 087.IncrementalLoadADLStoSQLdb-MultipleTablesUsingWatermark

• 088. بارگذاری افزایشی ADLS به SQLdb - جداول متعدد - با استفاده از Watermark 088.IncrementalLoadADLStoSQLdb-MultipleTables-UsingWatermark

• 089. بارگذاری افزایشی ADLS به SQLdb - با استفاده از تابع هش 089.IncrementalLoadADLStoSQLdb-UsingHashFunction

• 090. بارگذاری افزایشی ADLS به SQLdb - با استفاده از متادیتا 090.IncrementalLoadADLStoSQLdb-UsingMetadata

11. DeltaLake و Lakehouse 11.DeltaLake & Lakehouse

• 1. تاریخچه معماری های داده 1.HistoryOfDataArchitectures

• 2. مقدمه ای بر DeltaLake 2. IntroductionToDeltaLake

• 3. خواندن و نوشتن فرمت دلتا 3. ReadAndWriteDeltaFormat

• 4. درک لاگ دلتا 4. UnderstandingDeltaLog

• 5. تاریخچه نسخه و سفر در زمان 5. VersionHistoryAndTimeTravel

• 6. CheckPointing 6. CheckPointing

• 7. ایجاد جدول دلتا 7. CreateDeltaTable

• 8. ستون های تولید شده 8. GeneratedColumns

• 9. ایجاد جدول پارتیشن بندی شده 9. CreatePartitionedTable

• 10. تکامل اسکما 10. SchemaEvolution

• 11. CopyInto 11. CopyInto

• 12. Merge 12. Merge

• 13. آمار ستون ها 13. ColumnStatistics

• 14. بهینه سازی - Vaccum - Zorder 14.Optimize-Vaccum-Zorder

• 15. LiquidClustering 15. LiquidClustering

• 16. ChangeDataFeed 16. ChangeDataFeed

• 17. ReorgTable 17. ReorgTable

• 18. DeletionVectors 18. DeletionVectors

• 19. SCD - نوع 1 19.SCD-Type 1

• 20. SCD - نوع 2 20.SCD-Type 2

12. Databricks 12.Databricks

• 1. HiveMetaStore 1.HiveMetaStore

• 2. مقدمه ای بر Unity Catalog 2. IntroductionToUnityCatalog

• 3. راه اندازی Unity Catalog 3. SettingUpUnityCatalog

• 4. ایجاد کاتالوگ، اسکما و جدول 4.CreateCatalog, Schema & Table

• 5. Autoloader 5. Autoloader

• 006. حاکمیت داده 006.DataGovernance

• 007. پیاده سازی حاکمیت داده 007.ImplementingDataGovernance

• 008. فدراسیون Lakehouse 008.LakehouseFederation

• 009. فدراسیون Lakehouse برای SQL Server 009.LakehouseFederationForSQLServer

• 010. کپی فایل ها بر اساس انواع فایل 010.CopyFilesOnBasisOfFileTypes

• 011. Volume در Unity Catalog 011.VolumeInUnityCatalog

• 012. مقدمه ای بر Delta Live Tables 012.IntroductionToDeltaLiveTables

• 013. کیفیت داده (انتظارات) در DLT 013.DataQuality(Expectations)InDLT

13. Spark Structured Streaming 13.Spark Structured Streaming

• 1. Spark Structured Streaming - مقدمه 1.SparkStructuredSteaming-Introduction

• 2. خواندن جریان 2. ReadStream

• 3. نوشتن جریان 3. WriteStream

• 4. حالت های خروجی 4. OutputModes

• 5. منابع و سینک‌ها 5.Sources&Sinks

• 6. تریگرها 6. Triggers

• 7. پیوندها 7. Joins

• 8. حالتمند در مقابل بی‌حالت 8. Stateful Vs Stateless

• 9. عملیات پنجره 9. WindowOperations

14. Azure synapse analytics 14. Azure synapse analytics

• 1. مقدمه‌ای بر Azure Synapse Analytics 1.IntroductionToAzureSynapseAnalytics

• 2. استخرهای SQL 2.SQL Pools

• 3. Dedicated SQL Pool 3. DedicatedSQLPool

• 4. Serverless SQL Pool 4. ServerlessSQLPool

• 5. انواع توزیع 5. DistributionTypes

• 6. تامین مالی Azure Synapse Analytics 6.ProvisionAzureSynapseAnalytics

• 7. کار با Serverless SQL Pool 7. WorkingWithServerlessSQLPool

15. Azure Devops 15. Azure Devops

• 1. مقدمه ای بر Azure Devops 1. Introduction to Azure Devops

• 2. ثبت نام برای Azure Devops 2.Sign-up-for-Azure-Devops

• 3. ایجاد مخزن 3. Creating Repository

• 4. ادغام Data Factory با Azure Devops 4.IntegrateDataFactoryWithAzureDevops

• 5. ادغام Databricks با Azure Devops 5.IntegrateDatabricksWithAzureDevops

• 6. راه‌اندازی CI/CD برای Data Factory 6.SettingUpCICDForDataFactory

• 7. راه‌اندازی CI/CD برای Databricks 7.SettingUpCICDForDatabricks

• 8. پیوند Key Vault در Azure Devops 8.LinkingKeyVaultInAzureDevops

16. پروژه پایان به پایان 16. End-to-end project

• 1. مقدمه 1. Introduction

• 2. درک نیازمندی‌ها 2. UnderstandingRequirements

• 3. مدل داده خرید 3. PurchaseDataModel

• 4. مدل فروش 4. SalesModel

• 5. مدل منابع انسانی 5. HRModel

• 6. راه‌اندازی منابع 6. ResourceSetUp

• 7. شروع کار با Azure Devops 7. GettingStartedWithAzureDevops

• 8. درک منبع داده 8. UnderstandingDataSource

• 9. آماده‌سازی Databricks 9. GettingDatabricksReady

• 10. توسعه دفترچه‌های خرید 10. DevelopingPurchaseNotebooks

• 11. توسعه مدل خرید - بخش دوم 11. DevelopingPurchaseModel-Part2

• 12. برنامه‌ریزی وظایف 12. TaskPlanning

• 13. توسعه دفترچه‌های خرید برنزی 13.DevelopingPurchaseBronzeNotebooks

• 14. اولین دمو 14.FirstDemo

• 15. توسعه دفترچه‌های نقره‌ای - بخش اول 15.DevelopingSilverNotebooks-Part1

• 16. توسعه دفترچه‌های نقره‌ای و سایر دفترچه‌ها 16.DevelopingSilverAndOtherNotebooks

• 17. توسعه دفترچه‌های دیگر و نقره‌ای - بخش دوم 17.DevelopingOtherAndSilverNotebooks-Part2

• 18. ایجاد دفترچه‌های خام و برنزی فروش 18. CreatingRawAndBronzeSalesNotebooks

• 19. ایجاد دفترچه‌های نقره‌ای فروش - بخش اول 19.CreatingSalesSilverNotebooks-Part1

• 020. ایجاد دفترچه نقره‌ای فروش بخش دوم 020.CreatingSalesSilverNotebookPart2

• 021. ایجاد دفترچه‌های مدل منابع انسانی 021.CreatingHrModelNotebooks

• 22. توسعه گردش کار Databricks 22. DevelopingDatabricksWorkflows

• 023. شروع توسعه Power BI 023.PowerBIDevelopmentKickOff

• 024. توسعه گزارش‌های خرید Power BI - بخش اول 024.-DevelopingPowerBiPurchaseReports-Part1

• 025. رفع اشکال 025.BugFixing

• 026. توسعه گزارش خرید - بخش دوم 026.DevelopingPurchaseReport-Part2

17. Fabric 17. Fabric

• 001. مقدمه ای بر Fabric 001.IntroductionToFabric

• 002. ثبت نام برای Fabric با استفاده از ایمیل شخصی 002.SignupForFabricUsingPersonalEmail

• 003. ایجاد یک فضای کاری 003.CreatingAWorkspace

• 004. ایجاد یک دریاچه داده (Lakehouse) 004.CreatingALakehouse

• 005. بارگذاری داده‌ها در Lakehouse 005.LoadDataIntoLakehouse

• 006. بارگذاری داده‌ها از پوشه 006.LoadDataFromFolder

• 007. نقطه پایانی تحلیل SQL 007.SqlAnalyticsEndPoint

• 008. پرس و جوی بصری 008.VisualQuery

• 009. مدل معنایی پیش‌فرض 009.DefaultSemanticModel

• 010. OneLake Explorer 010.OneLakeExplorer

• 011. ایجاد میانبر 011.CreateShortcut

• 012. به‌روزرسانی اتصال 012.UpdatingConnection

• 013. ایجاد یک جدول با استفاده از میانبر 013.CreatingATableUsingShortcut

• 014. ایجاد یک انبار داده (Warehouse) 014.CreatingAWarehouse

• 015. ایجاد یک جدول در انبار داده 015.CreatingATableInWarehouse

• 016. کپی در 016.CopyInto

• 017. بارگذاری داده‌ها در انبار داده با استفاده از خط لوله داده 017.LoadDataIntoWarehouseUsingDataPipeline

• 018. اشتراک‌گذاری داده بین Lakehouse و Warehouse 018.DataSharingBetweenLakehouseAndWarehouse

• 019. شبیه‌سازی جدول 019.TableCloning

• 020. مقدمه ای بر جریان داده (Dataflow) 020.IntroductionToDataflow

• 021. مقدمه ای بر دفترچه یادداشت (Notebook) 021.IntroductionToNotebook

• 022. گزینه‌های Spark 022.SparkOptions

• 023. نظرات و اشتراک‌گذاری در دفترچه یادداشت 023.Comments&SharingInNotebook

• 024. قطعه‌های کد 024.CodeSnippets

18. آمادگی مصاحبه 18. Interview Preparation

• مصاحبه ۱ Interview 1