آموزش مهندسی داده Azure از ابتدا تا انتها (هندی) - آخرین آپدیت

سرفصل ها و درس ها

مقدمه Introduction

• 1.مقدمه ای بر مهندسی داده Azure 1.Introduction-to-Azure-Data-Engineering

2.SQL 2.SQL

• 1. مقدمه SQL 1. SQL Introduction

• 2. نصب SQL Server 2. SQL Server Installation

• نصب SQL Server 2022 Install SQL Server 2022

• 3. ایجاد و حذف پایگاه داده 3. Create And Drop Database

• 4. پایگاه‌های داده سیستمی 4. System Databases

• 5. ایجاد و حذف جدول 5. Create And Drop Table

• 6. درج داده در جدول 6. Insert Data In Table

• 7. انتخاب 7. Select

• 8. نصب پایگاه داده نمونه Adventure Works 8. Install Adventure Works Sample DB

• 9. دریافت مقادیر منحصربه‌فرد 9. Get Unique Values

• 10. مرتب‌سازی داده‌ها 10. Sort Data

• 11. نظرات 11. Comments

• 12. فیلتر کردن داده‌ها 12. Filter Data

• 13. فیلتر با کاراکترهای عمومی (Wild Characters) 13. Filter With Wild Characters

• 14. توابع تجمیعی 14. Aggregate Functions

• 15. گروه‌بندی ردیف‌ها 15. Grouping Rows

• 16. انتخاب به... به (Select..Into) 16. Select..Into

• 17. ایجاد جدول با کلید اصلی (PrimaryKey) 17. Create Table With PrimaryKey

• 18. ایجاد جدول با قید عدم ته‌ی (NOT NULL Constraint) 18. Create Table With NOT NULL Constraint

• 19. ایجاد جدول با قید یکتا (Unique Constraint) 19. Create Table With Unique Constraint

• 20. ایجاد جدول با قید بررسی (Check Constraint) 20. Create Table With Check Constraint

• 21. ایجاد جدول با قید پیش‌فرض (Default Constraint) 21. Create Table With Default Constraint

• 22. ایجاد جدول با افزایش خودکار (Auto Increment) 22. Create Table With Auto Increment

• 23. به‌روزرسانی ردیف‌ها در جدول 23. Update Rows In Table

• 24. حذف ردیف‌ها از جدول 24. Delete Rows From Table

• 25. توابع رشته‌ای بخش اول 25.String Functions Part1

• 26. توابع رشته‌ای - بخش دوم 26. StringFunctions-Part2

• 27. سناریو - ترکیب نام‌ها 27. Scenario- Combine Names

• 28. استخراج نام‌ها 28. Extract Names

• 29. توابع تاریخ و زمان - بخش اول 29.DateTimeFunctions-Part1

• 30. توابع تاریخ و زمان - بخش اول 30. DateTimeFunctions-Part1

• 31. توابع تاریخ و زمان - بخش سوم 31. DateTimeFunctions-Part3

• 32. انواع داده - بخش اول - اعداد صحیح 32. DataType-Part1-Integers

• 33. انواع داده - بخش دوم - عددهای تقریبی 33.DataTypes-Part2-ApproximateNumeric

• 34. انواع داده - بخش سوم - تاریخ و زمان 34.DataTypes-Part3-DateTime

• 35. انواع داده - بخش چهارم - رشته‌ها 35. DataTypes-Part4-Strings

• 36. شناسه یکتا 36. Unique identifier

• 37. انواع داده - بخش ششم - بیت (bit) 37.DataTypes-Part6-bit

• 38. تبدیل نوع داده 38.DataType Conversion

• 39. پیوندها بخش اول – مقدمه‌ای بر پیوندها 39.Joins Part 1 – Introduction to joins

• 40. پیوندها بخش دوم - استفاده از پیوندها 40.Joins Part2- Using Joins

• 41. پیوندها بخش سوم - پیوند 3 جدول 41.Joins Part3- Join 3 tables

• 42. پیوندها بخش چهارم - استفاده از عبارات 42.Joins Part4- Using Expressions

• 43. پیوندها بخش پنجم - پیوندهای خارجی (Outer Joins) 43.Joins Part5- Outer Joins

• 44. سناریو - پیوندها بخش ششم – پیوند خود (Self Join) 44.Scenario-Joins Part 6 – Self Join

• 45. واقعیت‌ها و ابعاد (FactAndDimensions) 45.FactAndDimensions

• 46. تابع IIF 46.IIF Function

• 47. CASE 47.CASE

• 48. شرایط متعدد IIF & CASE 48.IIF & CASE multiple conditions

• 49. سناریو - مرتب‌سازی سفارشی 49.Scenario-Custom sorting

• 50. UNION & UNION ALL 50.UNION & UNION ALL

• 51. INTERSECT 51.INTERSECT

• 52. EXCEPT 52.EXCEPT

• 53. قید کلید خارجی (Foreign key constraint) 53. Foreign key constraint

• 54. زیرپرس و جو - بخش اول 54.Subquery-PART 1

• 55. زیرپرس و جو - بخش دوم - IN & NOT IN 55.Subquery-PART2-IN & NOT IN

• 56. زیرپرس و جو - بخش سوم - به‌روزرسانی 56.Subquery-PART3-Update

• 57. زیرپرس و جو - بخش چهارم - جدول مشتق شده (Derived Table) 57.Subquery-PART4-Derived Table

• 58. زیرپرس و جو - بخش پنجم - EXISTS، زیرپرس و جو مرتبط (Correlated subquery) 58.Subquery-PART5-EXISTS, Correlated subquery

• 59. سناریو - زیرپرس و جو - بخش ششم - دریافت سال به سال مشارکت 59.Scenario-Subquery-PART6-Get contribution yearwise

• 60. بند HAVING 60. HAVING Clause

• 61. بند TOP 61.TOP Clause

• 62. سناریو - دریافت محصولات بالا و پایین 62. Scenario- Get TOP & BOTTOM Products

• 63. توابع پنجره - بخش اول - ROW_NUMBER 63.Window Functions-PART1-ROW_NUMBER

• 64. توابع پنجره - بخش دوم - RANK & DENSE_RANK 64.Window Functions-PART2-RANK & DENSE_RANK

• 65. توابع پنجره - بخش سوم - LAG & LEAD 65.Window Functions-PART3-LAG & LEAD

• 66. توابع پنجره - بخش چهارم - FIRST_VALUE & LAST_VALUE 66.Window Functions-PART4-FIRST_VALUE & LAST_VALUE

• 67. طبقه‌بندی SQL 67. SQL Classification

• 68. ALTER TABLE - بخش اول - ستون‌ها 68. ALTER TABLE -PART1- Columns

• 69. ALTER TABLE - بخش دوم - قیدها 69. ALTER TABLE -PART2- Constraints

• 70. OFFSET 70. OFFSET

• 71. تابع COALESCE 71.COALESCE Function

• 72. MERGE 72.MERGE

• 73. SCHEMA 73.SCHEMA

• 74. GROUP BY با ROLLUP 74. GROUP BY WITH ROLLUP

• 75. GROUP BY با CUBE 75. GROUP BY WITH CUBE

• 76. PIVOT 76.PIVOT

• 77. UNPIVOT 77.UNPIVOT

• 78. نمایه‌ها (VIEWS) 78.VIEWS

• 79. عبارت جدول مشترک - بخش اول - مقدمه 79.CommonTableExpression-Part1-Introduction

• 80. عبارت جدول مشترک - بخش دوم - چند قسمتی 80.CommonTableExpression-PART2-MultiPart

• 81. عبارت جدول مشترک - بخش سوم - بازگشتی 81.CommonTableExpression-PART3-Recursion

• 82. متغیرها 82.Variables

• 83. IF..ELSE 83.IF..ELSE

• 84. حلقه WHILE 84.WHILE LOOP

• 85. جداول موقت (TempTables) 85.TempTables

• 86. رویه‌های ذخیره شده (StoredProcedures) 86.StoredProcedures

• 87. تبدیل جدول به JSON 87.Converting a table to JSON

• 88. ایجاد خروجی JSON تودرتو 88.CreatingNestedJSONOutput

• 89. بند خروجی (OutputClause) 89.OutputClause

• 90. ابعاد با تغییر کند (SlowlyChangingDimensions) 90.SlowlyChangingDimensions

• 091. نمایه‌ها - بخش اول - نمایه‌های خوشه‌ای (ClusteredIndex) 091. Indexes - Part 1 - ClusteredIndex

• 92. نمایه‌ها - بخش دوم - نمایه‌های غیرخوشه‌ای (NonClusteredIndex) 92. Indexes - Part 2 - NonClusteredIndex

• 93. نمایه‌ها - بخش سوم - نظریه 93. Indexes - Part 3 - Theory

• 94. نمایه‌ها - بخش چهارم - جستجوی نمایه‌ (IndexSeek) 94. Indexes - Part 4 - IndexSeek

3. سناریوهای SQL 3. SQL Scenarios

• 1. یافتن میانگین 1.Find Average

• 2. چالش پیوندها 2.JoinsChallenge

• 3. شناسایی و حذف موارد تکراری 3. IdentifyAndDeleteDuplicates

• 4. ادغام سفارشی 4. CustomMerging

• 5. داده‌های گمشده - یافتن دپارتمان‌های گمشده 5.MissingData-FindMissingDepartments

• 6. یافتن دومین حقوق بالا 6. Find2ndLargestSalary

• 7. دومین حقوق بالا در هر دپارتمان 7. 2ndLargestSalaryInEachDepartment

• 8. شماره‌گذاری ردیف‌ها 8. RowNumbering

• 9. یافتن ردیف‌های متناوب 9. FindAlternateRows

• 10. Palindrome 10. Palindrome

• 11. یافتن ایمیل‌های تکراری 11. FindDuplicateEmails

• 12. به‌روزرسانی جنسیت صحیح 12. UpdateCorrectGender

• 13. تبدیل اطلاعات دانش‌آموز 13. TransformStudentInfo

• 14. طبقه‌بندی نقص 14. DefectClassification

• 15. مجموع جاری روزانه 15. DailyRunningTotal

• 16. مجموع ماهانه (MTDTotal) 16. MTDTotal

• 17. مجموع فصلی (QTDTotal) 17. QTDTotal

• 18. مجموع سالانه (YTDTotal) 18. YTDTotal

• 19. فروش سال قبل و رشد سال به سال (YOY Growth) 19. PreviousYearSalesAndYOYGrowth

• 20. مجموع متحرک 3 ماهه 20. 3 month moving sum

• 21. مرتب‌سازی ردیف‌ها به روش متناوب 21. ArrangeRowsInAlternateWay

4. انباره داده (Data warehousing) 4. Data warehousing

• 1. مقدمه‌ای بر انبار داده 1. Introduction to DataWarehousing

• 2. بارگذاری داده‌ها (DataLoads) 2. DataLoads

• 3. مدل‌های طرح‌بندی ذخیره‌سازی 3. StorageLayoutModels

• 4. توزیع رابین راند (RobinRoundDistribution) 4. RobinRoundDistribution

• 5. توزیع هش (HashDistribution) 5. HashDistribution

• 6. خصوصیات ACID 6. ACID Properties

• 7. نرمال‌سازی 7. Normalization

4. رایانش ابری Azure 4. Azure cloud computing

• 1. رایانش ابری 1. CloudComputing

• 2. ارائه‌دهندگان ابری 2. CloudProviders

• 3. مقدمه Azure 3. AzureIntroduction

• 4. ایجاد حساب آزمایشی Azure 4. CreateAzureTrialAccount

• 5. شروع کار با Azure 5. GettingStartedWithAzure

• 6. ایجاد Data Lake 6. CreateDataLake

• 7. ایجاد Azure SQL Server و پایگاه داده 7. CreateAzureSQLServerAndDatabase

• 8. ایجاد Data Factory 8. CreateDataFactory

• 9. ارتقا به Pay-as-you-go 9. UpgradeToPay-as-you-go

6. Azure Data Factory 6. Azure data factory

• 1. مقدمه 1. Introduction

• 2. کپی داده‌ها در Data Lake 2. CopyDataWithinDatalake

• 3. کپی کل پوشه _ فایل‌های خاص 3. CopyEntireFolder_SpecificFiles

• 4. کپی داده‌ها از ADLS به SQL DB _ بالعکس 4. CopydatafromADLStoSQLDB_viceversa

• 5. کپی داده‌ها با ستون‌های اضافی 5. CopyDataAdditionalColumns

• 6. تنظیم فعالیت متغیر (SetVariableActivity) 6. SetVariableActivity

• 7. کپی فایل‌ها در بازه زمانی 7. Copyfilesintimeframe

• 8. دریافت فعالیت فراداده (GetMetaDataActivity) 8. GetMetaDataActivity

• 9. فعالیت ForEach 9. ForEachActivity

• 10. کپی هر فایل در جدول جدید 10. CopyEachFiletoNewtable

• 11. حذف و بارگذاری (Truncate&load) 11.Truncate&load

• 12. کپی داده‌ها با ادغام (upsert) 12.Copydatawithupsert

• 13. فعالیت افزودن متغیر (AppendVariableActivity) 13. AppendVariableActivity

• 14. استفاده از پرس‌وجوهای SQL در فعالیت کپی داده 14. UsingSQLQueriesInCopyDataActivity

• 15. نگاشت ستون در فعالیت کپی داده 15. ColumnMappingInCopyDataActivity

• 16. فعالیت حذف (DeleteActivity) 16. DeleteActivity

• 17. کپی داده‌ها با رویه ذخیره شده 17. CopyDataWithStoredProcedure

• 18. فعالیت رویه ذخیره شده (StoredProcedureActivity) 18. StoredProcedureActivity

• 19. فعالیت جستجو (LookupActivity) 19. LookupActivity

• 20. فعالیت فیلتر (FilterActivity) 20. FilterActivity

• 21. فعالیت IF 21. IFActivity

• 22. فعالیت Switch 22. SwitchActivity

• 23. فعالیت اسکریپت (ScriptActivity) 23. ScriptActivity

• 24. فعالیت اعتبارسنجی (ValidationActivity) 24. ValidationActivity

• 25. تبدیل CSV به JSON 25. ConvertCSVtoJSON

• 26. کپی JSON به SQL DB 26. CopyJSONtoSQLDB

• 27. فعالیت اجرای پایپ‌لاین (Execute PipelineActivity) 27. ExecutePipelineActivity

• 28. فعالیت اجرای پایپ‌لاین (Execute PipelineActivity) 28.ExecutePipelineActivity

• 29. پارامترها در مقابل متغیرها 29. ParametersVsVariables

• 30. حذف فایل‌های خالی 30. DeleteBlankFiles

• 31. کپی CSV بدون سربرگ 31. CopyHeaderLessCSV

• 32. منطق تلاش مجدد (RetryLogic) 32. RetryLogic

• 33. رفتار کپی (CopyBehavior) 33. CopyBehavior

• 34. حداکثر ردیف در هر فایل 34. MaxRowsPerFile

• 35. تقسیم داده‌ها بر اساس یک معیار 35. SplitDataSingleCriteria

• 36. تقسیم داده‌ها بر اساس معیارهای متعدد 36. SplitDataMultipleCriteria

• 37. ادغام داده‌ها از فایل‌های متعدد 37. ConsolidateDataFromMultipleFiles

• 38. ادغام داده‌ها از پوشه‌های متعدد 38. ConsolidateDataFromMutipleFolders

• 39. نگاشت‌های سفارشی کپی داده‌ها - یک جدول 39. CopyDataCustomMappings-SingleTable

• 40. نگاشت‌های سفارشی کپی داده‌ها - جداول متعدد 40. CopyDataCustomMappings-MultipleTables

• 41. کپی داده‌ها با کاراکتر پایپ 41. CopyDataPipeCharacter

• 42. کپی داده‌ها با کاراکتر نقل‌قول 42. CopyDataQuoteCharacter

• 43. مقدمه‌ای بر جریان داده‌ها (Data Flows) 43. IntroductionToDataFlows

• 44. تبدیل Select 44. SelectTransformation

• 45. تبدیل Sort 45. SortTransformation

• 46. تبدیل Filter 46. FilterTransformation

• 47. تبدیل ستون مشتق شده (DerivedColumnTransformation) 47. DerivedColumnTransformation

• 48. تبدیل تقسیم شرطی (ConditionalSplitTransformation) 48. ConditionalSplitTransformation

• 49. تبدیل Cast 49. CastTransformation

• 50. تبدیل کلید جایگزین (SurrogateKeyTransformation) 50. SurrogateKeyTransformation

• 51. تبدیل Aggregate 51. AggregateTransformation

• 52. تبدیل Pivot 52. PivotTransformation

• 53. تبدیل Unpivot 53. UnpivotTransformation

• 54. تبدیل Rank 54. RankTransformation

• 55. تبدیل Window 55. WindowTransformation

• 56. تبدیل Union 56. UnionTransformation

• 57. تبدیل Lookup 57. LookupTransformation

• 58. تبدیل Join 58. JoinTransformation

• 59. تبدیل Exists 59. ExistsTransformation

• 60. تبدیل Flatten 60. FlattenTransformation

• 61. تبدیل Parse 61. ParseTransformation

• 62. تبدیل Stringify 62. StringifyTransformation

• 65. زمان اجرا یکپارچه‌سازی (IntegrationRuntime) 65. IntegrationRuntime

• 66. نصب زمان اجرای یکپارچه‌سازی میزبانی خود (InstallSelfHostedIntegrationRuntime) 66. InstallSelfHostedIntegrationRuntime

• 67. کپی داده‌ها از محلی به ADLS 67. CopyDataFromLocalToADLS

• 68. کپی داده‌ها از محلی به Azure SQL DB 68. CopyDataFromLocaltoAzureSQLDB

• 69. کپی داده‌ها از پایگاه داده SQL محلی به پایگاه داده SQL Azure 69. CopyDataLocalSQLdbtoAzureSQLdb

• 70. کپی داده‌ها از پایگاه داده SQL محلی به پایگاه داده SQL Azure 70. CopyDataLocalsqlDBtoAzureSQLdb

• 71. استفاده از Key Vault 71. UsingKeyVault

• 72. فعال‌ساز زمان‌بندی (Schedule Trigger) 72. ScheduleTrigger

• 73. فعال‌ساز رویداد ذخیره‌سازی (Storage Event Trigger) 73.StorageEventTrigger

• 75. کپی فایل‌ها بر اساس انواع فایل 75. CopyFilesOnBasisOfFileTypes

• 076. بارگذاری افزایشی از ADLS به SQL DB با استفاده از Staging 076.IncrementalLoadFromADLStoSQLdbUsingStaging

• 077. بارگذاری افزایشی از ADLS به SQL DB با استفاده از جریان داده (Dataflow) 077.IncrementalLoadFromADLStoSQLdbUsingDataflow

• 078. بارگذاری افزایشی از ADLS به SQL DB - جداول متعدد با مهر زمانی فایل 078.IncrementalLoadFromADLStoSQLdb-MultipleTablesWithFileStamp

• 079. بارگذاری افزایشی از ADLS به SQL DB - با استفاده از تابع هش 079.IncrementalLoadFromADLStoSQLdb-UsingHashFunction

7. مقدمه‌ای بر Databricks 7.Introduction To Databricks

• 1. مقدمه‌ای بر Databricks 1. IntroductionToDatabricks

• 2. ثبت نام در نسخه کامیونیتی 2. CommunityEditionSignUp

• 3. نمای کلی پلتفرم Databricks 3. DatabricksPlatformOverview

8. برنامه‌نویسی پایتون 8.Python Programming

• 1. مقدمه و نصب 1. IntroductionAndInstallation

• 2. چاپ (print) 2. print

• 3. متغیرها 3. Variables

• 4. اتصال رشته‌ها (Concatenate) 4. Concatenate

• 5. درون‌یابی (Interpolation) 5. Interpolation

• 6. If..else 6. If..else

• 7. ورودی (Input) 7. Input

• 8. IF..ELIF..ELSE 8.IF..ELIF..ELSE

• 9. حلقه For 9.For..Loop

• 10. حلقه While 10.While..Loop

• 11. Break & Continue 11.Break&Continue

• 12. لیست‌ها - بخش اول - مقدمه و نمایه‌سازی 12.Lists-Part1-IntroductionAndIndexing

• 13. لیست‌ها - بخش دوم - Len, وجود و حلقه 13.Lists-Part2-Len,Existence&Loop

• 14. لیست‌ها - بخش سوم - افزودن و حذف آیتم‌ها 14. Lists-Part 3 – Add&RemoveItems

• 15. لیست‌ها - بخش چهارم - شمارش، کپی، معکوس و مرتب‌سازی 15.Lists-Part4-Count,Copy,Reverse&Sort

• 16. لیست‌ها - بخش پنجم - به‌روزرسانی لیست‌ها 16.Lists-Part5-UpdatingLists

• 17. Set 17. Set

• 18. Tuple 18. Tuple

• 19. Dictionary 19. Dictionary

• 20. نظرات 20. Comments

• 21. عملیات رشته - بخش اول 21.StringOperations-Part1

• 22. عملیات رشته - بخش دوم 22. StringOperations-Part2

• 23. عملیات رشته - بخش سوم 23.StringOperations-Part3

• 24. درک لیست (List Comprehensions) 24. ListComprehensions

• 25. dir 25. dir

• 26. تاریخ و زمان - بخش اول - ماژول datetime 26.DateTime-Part1-datetimeModule

• 27. تاریخ و زمان - بخش دوم - timedelta & timestamp 27.DateTime-Part2-timedelta&timestamp

• 28. تاریخ و زمان - بخش سوم - ماژول monthdelta 28.DateTime-Part3-monthdeltaModule

• 29. تاریخ و زمان - بخش چهارم - ماژول relativedelta 29.DateTime-Part4-relativedeltaModule

• 30. تاریخ و زمان - بخش پنجم - قالب‌بندی 30.DateTime-Part5-Formatting

• 31. مدیریت خطا (ExceptionHandling) 31.ExceptionHandling

• 32. None 32. None

• 33. تصادفی (Random) 33. Random

• 34. توابع - بخش اول - مقدمه 34.Functions-Part1-Introduction

• 35. توابع - بخش دوم - دامنه متغیر (Scope Of Variable) 35.Functions-Part2-ScopeOfVariable

• 36. توابع - بخش سوم - آرگومان‌ها 36.Functions-Part3-Arguments

• 37. توابع - بخش چهارم - رشته‌های مستندسازی (DocStrings) 37.Functions-Part4-DocStrings

• 38. لامبدا (Lambda) 38. Lambda

• 39. Map 39. Map

• 40. Reduce 40. Reduce

• 41. بازگشت (Recursion) 41. Recursion

• 42. تولیدکننده‌ها (Generators) 42. Generators

• 43. دکوراتورها (Decorators) 43. Decorators

9. مبانی داده‌های بزرگ 9. BigDataFundamentals

• 1. مقدمه‌ای بر داده‌های بزرگ 1. IntroductionToBigData

• 2. تکامل داده‌های بزرگ 2. EvolutionOfBigData

• 3. محاسبات توزیع شده (Distributed Computing) 3. DistributedComputing

• 4. ویژگی‌ها 4. Features

• 5. اکوسیستم Hadoop 5. HadoopEcosystem

• 6. انواع پردازش 6. TypesOfProcessing

10. Databricks & PySpark 10.Databricks & PySpark

• 1. مقدمه‌ای بر Databricks و PySpark 1. IntroductionToDatabricksAndPyspark

• 2. مقدمه‌ای بر Apache Spark 2. IntroductionToApacheSpark

• 3. اجزا و API اسپارک 3. SparkComponentsAndAPI

• 4. معماری اسپارک 4. SparkArchitecture

• 5. RDD 5. RDD

• 6. ایجاد RDD از لیست 6. CreateRDDfromList

• 7. کنترل پارتیشن‌ها در RDD 7. ControlPartitionsInRDD

• 8. ایجاد RDD از فایل متنی 8. CreateRDDfromTextfile

• 9. تبدیل‌ها روی RDD 9. TransformationsOnRDD

• 10. گراف تبارشناسی (LineageGraph) 10. LineageGraph

• 11. درک مبانی DAG 11. UnderstandingDAGfundamentals

• 12. کارکرد Mapreduce 12. MapreduceWorking

• 13. ReduceByKey در مقابل ReduceByKey به صورت محلی 13. ReduceByKeyVsReduceByKeyLocally

• 14. GroupByKey 14. GroupByKey

• 15. تبدیل فیلتر روی RDD 15. FilterTransformationOnRDD

• 16. تبدیل‌های SortBy & SortByKey روی RDD 16.SortBy&SortByKeyTransformationsOnRDD

• 17. استخراج بالا و پایین از RDD 17.ExtractTopBottomFromRDD

• 18. ذخیره RDD به عنوان فایل متنی 18.SaveRDDasTextfile

• 19. Coalesce و Repartition روی RDD 19.CoalesceAndRepartitionOnRDD

• 20. مقدمه‌ای بر انباشتگرها (Accumulators) 20.IntroductionToAccumulators

• 21. پیاده‌سازی انباشتگرها 21. ImplementingAccumulators

• 22. متغیرهای پخش گسترده (BroadCastVariables) 22. BroadCastVariables

• 23. مقدمه‌ای بر فریم‌های داده (Dataframes) 23. IntroductionToDataframes

• 24. خواندن CSV در فریم داده 24. ReadCSVInDataframe

• 25. بینش فریم داده 25. DataFrameInsights

• 26. انتخاب ستون‌ها از فریم داده 26. SelectColumnsFromDataframe

• 27. افزودن و اصلاح ستون‌ها در فریم داده 27. AddModifyColumnsInDataFrame

• 28. حذف ستون‌ها در فریم داده 28. DropColumnsInDataFrame

• 29. تغییر نام ستون‌ها در فریم داده 29. RenameColumnsInDataFrame

• 30. مرتب‌سازی ستون‌ها در فریم داده 30. SortColumnsInDataFrame

• 31. فیلتر کردن داده‌ها در فریم داده 31. FilterDataInDataFrame

• 32. حذف موارد تکراری از فریم داده 32. RemoveDuplicatesFromDataFrame

• 33. ادغام فریم‌های داده 33. CombineDataFrames

• 34. فیلترهای مبتنی بر الگو در فریم داده 34. PatternBasedFiltersInDataframe

• 35. افزودن ستون بر اساس شرط در PySpark 35. AddColumnOnBasisOfConditionInPyspark

• 36. تبدیل حالت در فریم داده 36. CaseConversionInDataFrame

• 37. تجمیع‌ها روی فریم داده 37. AggregationsOnDataFrame

• 38. تجمیع‌ها با GroupBy 38. AggregationsWithGroupBy

• 39. Pivot & Unpivot روی فریم داده 39.Pivot&UnpivotOnDataFrame

• 40. توابع پنجره 40. WindowFunctions

• 41. پر کردن مقادیر Null در فریم داده 41. FillNullValuesInDataFrame

• 42. گزینه‌های خواندن CSV 42. ReadCSVoptions

• 43. اعمال طرحواره بر روی فریم داده 43. ImposeSchemaOnDataFrame

• 44. حالت‌های نوشتن در فریم داده 44. WriteModesInDataFrame

• 45. توابع تاریخ 45. DateFunctions

• 46. تبدیلRDD به DF و بالعکس 46. ConvertRddtoDFandViceVersa

• 47. Explode 47. Explode

• 48. کار با ستون از نوع آرایه 48. WorkingWithArraytypeColumn

• 49. dbutils 49. dbutils

• 50. دسترسی به ADLS gen2 با استفاده از کلید دسترسی 50. AccessADLSgen2UsingAccessKey

• 51. ثبت نام برای Azure Databricks 51. SignUpForAzureDatabricks

• 52. ویجت‌ها (Widgets) 52. Widgets

• 53. فراخوانی نوت‌بوک‌های دیگر 53. CallingOtherNotebooks

• 54. خواندن فایل‌های JSON 54. ReadJsonFiles

• 55. خواندن چندین فایل و دریافت نام فایل‌ها 55. ReadMultipleFilesAndGetFileNames

• 56. فرمت فایل Parquet 56.ParquetFileFormat

• 57. دسترسی به ADLS با استفاده از توکن SAS 57.AccessADLSusingSAStoken

• 58. دسترسی به ADLS با استفاده از OAUTH 58. AccessADLSusingOAUTH

• 59. خواندن و نوشتن فایل‌های Parquet 59.Read&WriteParquetFiles

• 60. فرمت Delta 60. DeltaFormat

• 61. ایجاد نماهای موقت (TempViews) 61. CreateTempViews

• 62. ایجاد جداول مدیریت شده و مدیریت نشده 62. CreateManagedAndUnManagedTables

• 63. پارتیشن‌بندی 63. Partitioning

• 64. باکت‌بندی (Bucketing) 64. Bucketing

• 65. کنترل تعداد رکوردها هنگام نوشتن 65. ControlNumberOfRecordsWhileWriting

• 66. حداکثر بایت پارتیشن 66. MaxPartitionBytes

• 67. برنامه‌های اجرای پرس‌وجوی اسپارک 67. SparkQueryExecutionPlans

• 68. پیوندها (Joins) 68.Joins

• 69. برنامه‌های اجرای اسپارک برای تبدیل‌ها 69. SparkExecutionPlansForTransformations

• 70. الگوریتم Broadcast Hash Join 70. BroadCastHashJoinAlgorithm

• 71. الگوریتم Sort Merge Join 71. SortMergeJoinAlgorithm

• 72. الگوریتم Shuffle Hash Join 72. ShuffleHashJoinAlgorithm

• 73. پیوند باکت مرتب‌سازی (Sort Merge Bucket Join) 73. SortMergeBucketJoin

• 74. نکات پیوند (Join Hints) 74. JoinHints

• 75. SparkSQL 75. SparkSQL

• 76. مدیریت حافظه اسپارک 76. SparkMemoryManagement

• 77. جمع‌آوری زباله (GarbageCollection) 77. GarbageCollection

• 78. اصطلاحات CPU 78. CPUTerminologies

• 79. محاسبات و خوشه‌های Databricks 79.DatabricksCompute&Clusters

• 80. مدیر خوشه (ClusterManager) 80. ClusterManager

• 81. تخصیص منابع 81.ResourceAllocation

• 82. تخصیص پویا (DynamicAllocation) 82.DynamicAllocation

• 83. سریال‌سازی و دسریال‌سازی 83.SerializationAndDeserialization

• 84. کش و نگهدار (Cache and Persist) 84.CacheAndPersist

• 85. توابع هش 85.HashFunctions

• 086. JDBC 086.JDBC

• 087. بارگذاری افزایشی - ADLS به SQL DB - یک جدول با استفاده از Watermark 087.IncrementalLoad-ADLStoSQLdb-SingleTableUsingWatermark

• 088. بارگذاری افزایشی - ADLS به SQL DB - جداول متعدد با استفاده از Watermark 088.IncrementalLoad-ADLStoSQLdb-MultipleTablesUsingWatermark

• 089. بارگذاری افزایشی - ADLS به SQL DB - با استفاده از تابع هش 089.IncrementalLoad-ADLStoSQLdb-UsingHashFunction

• 090. بارگذاری افزایشی - ADLS به SQL DB - با استفاده از فراداده 090.IncrementalLoad-ADLStoSQLdb-UsingMetadata

11. DeltaLake & Lakehouse 11. DeltaLake & Lakehouse

• 1. تاریخچه معماری‌های داده 1. HistoryOfDataArchitectures

• 2. مقدمه‌ای بر Delta Lake 2. IntroductionToDeltaLake

• 3. خواندن و نوشتن فرمت Delta 3. ReadAndWriteDeltaFormat

• 4. درک لاگ دلتا (Delta Log) 4. UnderstandingDeltaLog

• 5. تاریخچه نسخه و سفر در زمان (Time Travel) 5. VersionHistoryAndTimeTravel

• 6. CheckPointing 6. CheckPointing

• 7. ایجاد جدول دلتا 7. CreateDeltaTable

• 8. ستون‌های تولید شده (Generated Columns) 8. GeneratedColumns

• 9. ایجاد جدول پارتیشن‌بندی شده 9. CreatePartitionedTable

• 10. تکامل طرحواره (Schema Evolution) 10. SchemaEvolution

• 11. کپی در (CopyInto) 11. CopyInto

• 12. ادغام (Merge) 12. Merge

• 13. آمار ستون (Column Statistics) 13. ColumnStatistics

• 14. بهینه‌سازی - پاکسازی - Zorder 14-Optimize-Vaccum-Zorder

• 15. خوشه‌بندی مایع (LiquidClustering) 15. LiquidClustering

• 16. خوراک داده‌های تغییر یافته (Change Data Feed) 16. ChangeDataFeed

• 17. سازماندهی مجدد جدول (ReorgTable) 17. ReorgTable

• 18. بردارهای حذف (DeletionVectors) 18. DeletionVectors

• 19. SCD نوع 1 19. SCD Type 1

• 20. SCD نوع 2 20. SCD Type 2

12. Databricks 12.Databricks

• 1. Hive Metastore 1. HiveMetastore

• 2. مقدمه‌ای بر Unity Catalog 2. IntroductionToUnityCatalog

• 3. راه‌اندازی Unity Catalog 3. SettingUpUnityCatalog

• 4. ایجاد کاتالوگ، طرحواره و جدول 4.CreateCatalog, Schema&Table

• 5. Autoloader 5. Autoloader

• 006. حاکمیت داده (Data Governance) 006.DataGovernace

• 007. پیاده‌سازی حاکمیت داده 007.ImplementingDataGovernance

• 008. فدراسیون Lakehouse 008.Lakhouse Federation

• 009. فدراسیون Lakehouse برای SQL Server 009.Lakehouse Federation For SQL Server

• 010. کپی فایل‌ها بر اساس انواع فایل 010.CopyFilesOnBasisOfFileTypes

• 011. Volume در Unity Catalog 011.VolumeInUnityCatalog

• 012. مقدمه‌ای بر جداول دلتای زنده (Delta Live Tables - DLT) 012.IntroductionToDeltaLiveTables(DLT)

• 013. کیفیت داده (انتظارات) در DLT 013.DataQuality(Expectations)InDLT

13. Spark Structured Streaming 13.Spark Structured Steaming

• 1. مقدمه 1. Introduction

• 2. ReadStream 2. ReadStream

• 3. WriteStream 3. WriteStream

• 4. حالت‌های خروجی 4. OutputModes

• 5. منبع‌ها و چاهک‌ها 5.Sources&Sinks

• 6. ماشه‌ها 6. Triggers

• 7. پیوندها 7. Joins

• 8. حالت‌دار در مقابل بدون حالت 8. StatefulVsStateless

• 9. عملیات پنجره‌بندی 9. WindowOperations

14. Azure Synapse Analytics 14.Azure Synapse Analytics

• 1. مقدمه‌ای بر Azure Synapse Analytics 1. IntroductionToAzureSynapseAnalytics

• 2. پول‌های SQL 2.SQL Pools

• 3. پول SQL اختصاصی 3. DedicatedSQLPool

• 4. پول SQL بدون سرور 4. ServerlessSQLPool

• 5. انواع توزیع 5. DistributionTypes

• 6. فراهم کردن Azure Synapse Analytics 6.ProvisionAzureSynapseAnalytics

• 7. کار با پول SQL بدون سرور 7. WorkingWithServerlessSQLPool

15. Azure DevOps 15. Azure Devops

• 1. مقدمه‌ای بر Azure DevOps 1. Introduction To Azure Devops

• 2. ثبت‌نام در Azure DevOps 2.Sign-up-for-Azure-Devops

• 3. ایجاد مخزن 3. Creating Repository

• 4. ادغام Data Factory با Azure DevOps 4.IntegrateDataFactoryWithAzureDevops

• 5. ادغام Databricks با Azure DevOps 5.IntegrateDatabricksWithAzureDevops

• 6. راه‌اندازی CI/CD برای Data Factory 6.SettingUpCICDForDataFactory

• 7. راه‌اندازی CI/CD برای Databricks 7.SettingUpCICDForDatabricks

• 8. پیوند دادن Key Vault در Azure DevOps 8.LinkingKeyVaultInAzureDevops

16. پروژه End-to-End 16. End-to-End Project

• 1. کیفیت داده‌ها 1. Data Quality

• 2. درک نیازمندی‌ها 2. UnderstandingRequirements

• 3. مدل داده خرید 3. PurchaseDataModel

• 4. مدل فروش 4. SalesModel

• 5. مدل منابع انسانی 5. HR Model

• 6. راه‌اندازی منابع 6. ResourceSetUp

• 7. شروع کار با Azure DevOps 7. GettingStartedWithAzureDevops

• 8. درک منبع داده 8. UnderstandingDataSource

• 9. آماده‌سازی Databricks 9. GetDatabricksReady

• 10. توسعه نوت‌بوک‌های خرید - بخش اول 10.DevelopingPurchaseNotebooks-Part1

• 11. توسعه نوت‌بوک‌های خرید - بخش دوم 11.DevelopingPurchaseNotebooks-Part2

• 12. برنامه‌ریزی وظایف 12.TaskPlanning

• 13. توسعه نوت‌بوک‌های برنزی خرید 13. DevelopingPurchaseBronzeNotebooks

• 14. اولین نمایش 14. FirstDemo

• 15. توسعه نوت‌بوک‌های سیلور - بخش اول 15. DevelopingSilverNotebooks-Part1

• 16. توسعه نوت‌بوک‌های سیلور و دیگران 16. DevelopingsilverAndOtherNotebooks

• 17. ایجاد نوت‌بوک‌های دیگر و سیلور - بخش دوم 17.CreatingOtherAndSilverNotebooks-Part2

• 18. ایجاد نوت‌بوک‌های فروش برنزی و خام 18. CreatingRawAndBronzeSalesNotebooks

• 19. ایجاد نوت‌بوک‌های سیلور فروش 19. CreatingSalesSilverNotebooks

• 20. ایجاد نوت‌بوک سیلور فروش بخش دوم 20.CreatingSalesSilverNotebookPart2

• 21. ایجاد نوت‌بوک مدل منابع انسانی 21. CreatingHrModelNotebook

• 22. توسعه گردش کارهای Databricks 22. DevelopingDatabricksWorkflows

• 023. راه‌اندازی توسعه Power BI 023.PowerBIDevelopmentKickOff

• 024. توسعه گزارش‌های خرید Power BI - بخش اول 024.-DevelopingPowerBiPurchaseReports-Part1

• 025. رفع اشکال 025.BugFixing

• 026. توسعه گزارش خرید - بخش دوم 026.DevelopingPurchaseReport-Part2

17. Fabric 17. Fabric

• 001. مقدمه‌ای بر Fabric 001.IntroductionToFabric

• 002. ثبت‌نام در Fabric با استفاده از ایمیل شخصی 002.SignupForFabricUsingPersonalEmail

• 003. ایجاد یک فضای کاری 003.CreatingAWorkspace

• 004. ایجاد یک Lakehouse 004.CreatingALakehouse

• 005. بارگذاری داده‌ها در Lakehouse 005.LoadDataIntoLakehouse

• 006. بارگذاری داده‌ها از پوشه 006.LoadDataFromFolder

• 007. نقطه پایانی تجزیه و تحلیل SQL 007.SqlAnalyticsEndPoint

• 008. کوئری بصری 008.VisualQuery

• 009. مدل معنایی پیش‌فرض 009.DefaultSemanticModel

• 010. کاوشگر OneLake 010.OneLakeExplorer

• 011. ایجاد میانبر 011.CreateShortcut

• 012. به‌روزرسانی اتصال 012.UpdatingConnection

• 013. ایجاد جدول با استفاده از میانبر 013.CreatingTableUsingShortcut

• 014. ایجاد یک انبار داده 014.CreatingAWarehouse

• 015. ایجاد یک جدول در انبار داده 015.CreatingATableInWarehouse

• 016. کپی به داخل 016.CopyInto

• 017. بارگذاری داده‌ها در انبار داده با استفاده از پایپ‌لاین داده 017.LoadDataIntoWarehouseUsingDataPipeline

• 018. اشتراک‌گذاری داده‌ها بین Lakehouse و انبار داده 018.DataSharingBetweenLakehouseAndWarehouse

• 019. کلون کردن جدول 019.TableCloning

• 020. مقدمه‌ای بر جریان داده 020.IntroductionToDataflow

• 021. مقدمه‌ای بر نوت‌بوک 021.IntroductionToNotebook

• 022. گزینه‌های Spark 022.SparkOptions

• 023. توضیحات و اشتراک‌گذاری در نوت‌بوک 023.Comments&SharingInNotebook

• 024. قطعه کدها 024.CodeSnippets

18. آماده‌سازی برای مصاحبه 18. Interview Preparation

• مهندسی داده ۱ Data Engineering 1