آموزش مسترکلاس مهندسی داده Azure - راهنمای جامع - آخرین آپدیت

سرفصل ها و درس ها

مقدمه Introduction

• مقدمه INTRODUCTION

• سرفصل‌های دوره Course curriculum

• دانلود فایل‌ها FILE DOWNLOAD

• دموی پروژه‌های ADF DEMO - ADF PROJECTS

• یادداشت‌های مرور سریع (PDF) LAST MINUTE REVISION - NOTES (PDF COURSE)

SQL جامع COMPLETE SQL

• مقدمه SQL introduction sql

• دیتابیس چیست What is database

• تمرین عملی دیتابیس Database practical

• دستور Insert در SQL Insert Statement in SQL

• محدودیت‌های SQL (Constraints) SQL CONSTRAINTS

• محدودیت‌های NOT NULL و UNIQUE NOT NULL & UNIQUE CONSTRAINTS

• محدودیت‌های CHECK و DEFAULT CHECK & DEFAULT CONSTRAINTS

• کلید اصلی (Primary Key) PRIMARY KEY

• کلید خارجی (Foreign Key) در SQL FOREIGN KEY IN SQL

• فیلتر و مرتب‌سازی در SQL FILTER & SORT IN SQL

• تفاوت DELETE و DROP و TRUNCATE DELETE VS DROP VS TRUNCATE

• دستور UPDATE در SQL UPDATE IN SQL

• دستورات شرطی در SQL CONDITIONAL STATEMENT IN SQL

• توابع تجمیعی (Aggregate) در SQL AGGREGATE FUNCTION IN SQL

• دستور GROUP BY در SQL GROUP BY IN SQL

• عملگر LIKE در SQL LIKE OPERATOR IN SQL

• دستور HAVING در SQL HAVING IN SQL

• دستور TOP یا LIMIT در SQL TOP OR LIMIT IN SQL

• دستور DISTINCT در SQL DISTINCT IN SQL

• دستور COALESCE در SQL COALESCE IN SQL

• اتصال جداول (Joining) در SQL JOINING IN SQL

• تفاوت UNION و UNION ALL UNION VS UNION ALL

• دستور ALTER در SQL ALTER IN SQL

• توابع پنجره‌ای (Window Functions) در SQL WINDOWS FUNCTION IN SQL

• توابع RANK / DENSE RANK / ROW NUMBER RANK / DENSE RANK / ROW NUMBER IN SQL

• توابع LEAD و LAG در SQL LEAD & LAG IN SQL

• عبارات CTE در SQL CTE IN SQL

• نماها (Views) در SQL VIEWS IN SQL

• رویه های ذخیره شده (Store Procedure) در SQL STORE PROCEDURE IN SQL

• زیر-کوئری‌ها (Sub Query) در SQL SUB QUERY IN SQL

• تریگرها (Triggers) در SQL TRIGGERS IN SQL

• سوالات مصاحبه SQL - بخش ۱ SQL INTERVIEW QUESTION PART -1

• سوالات مصاحبه SQL - بخش ۲ SQL INTERVIEW QUESTION PART -2

• سوالات مصاحبه SQL - بخش ۳ SQL INTERVIEW QUESTION PART -3

• سوالات مصاحبه SQL - بخش ۴ SQL INTERVIEW QUESTION PART -4

• سوالات مصاحبه SQL - بخش ۵ SQL INTERVIEW QUESTION PART -5

AZURE DATA FACTORY جامع COMPLETE AZURE DATA FACTORY

• مقدمه‌ای بر ADF Introdction to adf

• آزمایشگاه ایجاد Data Factory create data factory - lab

• اجزای ADF ADF Components

• ایجاد Storage Account create storage account

• اکتیویتی Copy در ADF ADF Copy activity

• اکتیویتی Delete در ADF ADF Delete activity

• ایجاد دیتابیس SQL create SQL database

• کپی داده از Blob به SQL Blob to SQL data copy

• تریگرها در ADF TRIGGERS IN ADF

• تریگرهای زمان‌بندی شده در ADF SCHEDULED TRIGGERS IN ADF

• تریگرهای مبتنی بر رویداد در ADF EVENT BASED TRIGGERS IN ADF

• تریگرهای Tumbling Window در ADF TUMBLING WINDOW TRIGGERS IN ADF

• جریان داده (Data Flow) در ADF DATA FLOW IN ADF

• تبدیل Join در ADF JOIN TRANSFORMATION IN ADF

• تبدیل Union در ADF UNION TRANSFORMATION IN ADF

• تبدیل Select در ADF SELECT TRANSFORMATION IN ADF

• تبدیل Derived Column در ADF DERIVED COL TRANSFORMATION IN ADF

• تبدیل Aggregate در ADF AGGREGATE TRANSFORMATION IN ADF

• پارامتری کردن Dataset در ADF DATASET PARAMETERIZATION IN ADF

• پارامتری کردن Linked Service LINKED SERVICE PARAMETERIZATION

• پارامتری کردن Pipeline PIPELINE PARAMETERIZATION

• تبدیل Pivot PIVOT TRANSFORMATION

• نام‌گذاری فایل‌ها در ADF FILE NAMING IN ADF

• اکتیویتی Get Metadata در ADF GET METADATA ACTIVITY IN ADF

• اکتیویتی For Each در ADF FOR EACH ACTIVIY IN ADF

• اکتیویتی If Condition در ADF IF CONDITION ACTIVITY IN ADF

• اکتیویتی Set Variable SET VARIABLE ACTIVITY

• اکتیویتی Append Variable APPEND VARIABLE ACTIVITY

• اکتیویتی Store Procedure STORE PROCEDRE ACTIVITY

• اکتیویتی Lookup LOOKP ACTIVITY

• اکتیویتی Wait WAIT ACTIVITY

• اکتیویتی Switch SWITCH ACTIVITY

• اکتیویتی Validation VALIDATION ACTIVITY

• اکتیویتی Execute Pipeline EXECTE PIPELINE ACTIVITY

• اکتیویتی Filter FILTER ACTIVITY

• اکتیویتی Until UNTILL ACTIVITY

• اکتیویتی Web WEB ACTIVITY

• اکتیویتی Fail FAIL ACTIVITY

• اکتیویتی Script SCRIPT ACTIVITY

• تبدیل Exist EXIST TRANSFORMATION

• تبدیل Conditional Split CONDITIONAL SPLIT TRANSFORMATION

• تبدیل Pivot PIVOT TRANSFORMATION

• تبدیل Unpivot NPIVOT TRANSFORMATION

• تبدیل Surrogate Key SURROGATE KEY TRANSFORMATION

• تبدیل Windows WINDOWS TRANSFORMATION

• تبدیل Alter Row ALTER ROW TRANSFORMATION

• تبدیل Rank RANK TRANSFORMATION

• خطای ۱: خطاهای دیتابیس SQL ERROR 1- SQL DATABASE V ERROR

• تنظیم هشدار ایمیلی در ADF EMAIL ALERT SETP IN ADF

• خطای Import Schema Failed IMPORT SCHEMA FAILED ERROR

• خطای Import Schema در Dataflow DATAFLOW IMPORT SCHEMA ERROR

• یافتن تعداد کل فایل‌ها FIND TOTAL FILE COUNT

DATABRICKS و PYSPARK جامع - جدید COMPLETE DATABRICKS WITH PYSPARK - NEW

• دیتابریکس (Databricks) چیست WHAT IS DATABRICKS

• مزایای دیتابریکس DATABRICKS ADVANTAGE

• ایجاد نسخه رایگان دیتابریکس CREATE DATABRICKS FREE EDITION

• بررسی کلی دیتابریکس EXPLORE DATABRICKS OVERVIEW

• Lakehouse دیتابریکس چیست WHAT IS DATABRICKS LAKEHOUSE

• Unity Catalog در دیتابریکس UNITY CATALOG IN DATABRICKS

• ایجاد Unity Catalog در دیتابریکس CREATE UNITY CATALOG IN DATABRICKS

• جداول در دیتابریکس: Managed vs External TABLES IN DATABRICKS - MANAGED VS EXTERNAL TABLES

• Volumeها در دیتابریکس VOLUMES IN DATABRICKS

• ایجاد Volume و آپلود فایل CRETAE VOLUMES AND UPLOAD FILES IN VOLUMES

• راه‌اندازی عملی PySpark در دیتابریکس PYSPARK PRACTICAL SETUP - DATABRICKS

• ایجاد DataFrame در دیتابریکس CREATE DATAFRAME - DATABRICKS

• ایجاد DataFrame از JSON و Parquet با PySpark CREATE DATAFRAME - JSON & PARQUET - PYSPARK

• تبدیل Select در PySpark SELECT TRANSFORMATION - PYSPARK

• توابع withColumn و withColumnRenamed withColumn & withColumnRenamed

• فیلتر (Filter) در PySpark FILTER - PYSPARK

• تفاوت Distinct و Drop Duplicates در PySpark DISTINCT VS DROP DUPLICATES - PYSPARK

• مرتب‌سازی Sort و OrderBy SORT & ORDERBY

• دستور Group By در PySpark GROUP BY - PYSAPRK

• اتصال (Join) در PySpark JOIN - PYSPARK

• اتحاد (Union) در PySpark UNION - PYSPARK

• مدیریت مقادیر Null در PySpark HANDLE NULL VALUES - PYSAPRK

• توابع Collect در PySpark COLLECT - PYSPARK

• مفاهیم StructType و StructField در PySpark STRUCTTYPE & STRUCTFIELD - PYSPARK

• Pivot و Unpivot PIVOT & UNPIVOT

• توابع UDF در PySpark UDF - PYSPARK

• نماهای موقت (Temp View) در PySpark TEMP VIEW - PYSPARK

• توابع پنجره‌ای (Window Functions) در PySpark WINDOWS FUNCTION - PYSPARK

• توابع partitionBy و Repartition در PySpark partitionBy ,& Repartition - PYSPARK

• فرمت تاریخ در PySpark DATE FORMAT - PYSPARK

• توابع مختلف تاریخ در PySpark DIFFERENT DATE FUNCTIONS - PYSPARK

• توابع Explode در PySpark EXPLODE - PYSPARK

• فایل‌های دیتابریکس DATABRICKS FILES

• اتحاد Lakehouse در دیتابریکس (Federation) DATABRICKS FLAKEHOUSE FEDERATION

• تمرین عملی اتحاد Lakehouse دیتابریکس DATABRICKS FLAKEHOUSE FEDERATION - PRACTICAL

• دیتابریکس SQL چیست WHAT IS DATABRICKS SQL

• پارامترهای Databricks SQL DATABRICKS SQL - PARAMETERS

• بررسی کلی Databricks SQL DATABRICKS SQL OVERVIEW

• قطعه کدهای (Snippets) دیتابریکس SQL DATABRICKS SQL SNIPPETS

• مرور Databricks SQL DATABRICKS SQL REVISION

• زمان‌بندی کوئری‌ها SCHEDULING - QUERY

• مانیتورینگ کوئری‌ها MONITOR - QUERY

• کش (Cache) دیتابریکس DATABRICKS CACHE

• هشدارها (Alerts) در دیتابریکس ALERTS - DATABRICKS

• داشبوردهای دیتابریکس DATABRICKS - DASHBOARD

• Genie در دیتابریکس GENIE - DATABRICKS

• جاب‌های Lakehouse در دیتابریکس LAKEHOUSE JOBS - DATABRICKS

• تمرین عملی جاب‌های Lakehouse LAKEHOUSE JOBS - PRACTICAL

• شرط IF-ELSE در جاب‌ها IF - ELSE CONDITION - JOBS

• شرط For Each در جاب‌ها FOR EACH CONDITION - JOBS

• زمان‌بندی و تریگر در دیتابریکس SCHEDULED & TRIGGER - DATABRICKS

• جاب‌های Compute در دیتابریکس COMPUTE JOBS - DATABRICKS

• اعلان‌های جاب (Job Notification) در دیتابریکس JOB NOTIFICATION - DATABRICKS

• مانیتورینگ در دیتابریکس MONITORING - DATABRICKS

• پروژه مدالیون دیتابریکس: مقدمه فروش خرده‌فروشی DATABRICKS MEDALLION PROJECT - RETAIL SALES INTRO

• پروژه مدالیون: راه‌اندازی و لایه برنزی (Bronze) DATABRICKS MEDALLION PROJECT SETUP & BRONZE LAYER

• پروژه مدالیون: راه‌اندازی و لایه نقره‌ای (Silver) DATABRICKS MEDALLION PROJECT SETUP & SILVER LAYER

• پروژه مدالیون: لایه طلایی (Gold) و داشبورد DATABRICKS MEDALLION PROJECT SETUP & GOLD LAYER & DASHBOARD

Azure Synapse Analytics Azure Synapse Analytics

• Azure Synapse Analytics چیست What is Azure Synapse Analytics

• ایجاد فضای کاری (Workspace) در Azure Synapse Create Azure Synapse Workspace

• بررسی کلی Synapse Workspace Synapse Workspace Overview

• Serverless SQL Pool Serverless SQL POOL

• کوئری JSON با استفاده از Serverless SQL Pool query json using serverless SQL POOL

• Dedicated SQL Pool Dedicated SQL POOL

• ایجاد Dedicated SQL Pool CREATE DEDICATED SQL POOL

• Apache Spark در Azure Synapse APACHE SPARK IN AZURE SYNAPSE

• ایجاد Spark Pool در Azure Synapse CREATE SPARK POOL IN AZURE SYNAPSE

• خط لوله داده (Data Pipeline) در Azure Synapse DATA PIPELINE IN AZURE SYNAPSE

MICROSOFT FABRIC MICROSOFT FABRIC

• مقدمه‌ای بر Microsoft Fabric INTRO TO MICROSOFT FABRIC

• نحوه ایجاد حساب Fabric HOW TO CREATE FABRIC ACCOUNT

• سلسله‌مراتب و اصطلاحات Fabric Fabric Hierarchy and terminology

• بررسی کلی Fabric FABRIC OVERVIEW

• نحوه ایجاد Workspace در Fabric HOW TO CREATE WORKSPAE IN FABRIC

• OneLake در Fabric ONELAKE IN FABRIC

• Lakehouse در Fabric چیست what is lakehosue IN FABRIC

• نحوه ایجاد Lakehouse در Fabric how to create lakehouse in fabric

• کاوشگر فایل‌های OneLake در Fabric One lake file explorer in fabric

• ایجاد جداول در Lakehouse Fabric create tables in lakehose fabric

• میان‌برها (Shortcuts) در Fabric Shortcuts in fabric

• تمرین عملی Shortcuts در Fabric Shortcuts practical in fabric

• تمرین عملی میان‌برهای خارجی (External) در Fabric EXTERNAL Shortcuts practical in fabric

• کش (Cache) در Fabric Cache in fabric

• نقاط انتهایی SQL (SQL Endpoints) در Fabric sql endpoints in fabric

• Data Factory در Fabric data factory in fabric

• ایجاد Data Factory در Fabric create data factory in fabric

• اکتیویتی کپی داده: CSV به Parquet Copy Data Activity - CSV to Parquet

• اکتیویتی کپی داده: Azure SQL به Lakehouse (json) Copy Data Activity - Azure sql to Lakehouse in json

• اکتیویتی Delete در Fabric Delete Activity in fabric

• اکتیویتی GetMetadata در Fabric getmetadata Activity in fabric

• اکتیویتی Filter در Fabric Filter Activity in fabric

• اکتیویتی Lookup در Fabric Lookup Activity in fabric

• پارامتری کردن در Fabric Parameterization in fabric

• اکتیویتی For Each در Fabric For Each Activity in fabric

• اکتیویتی If Condition در Fabric If condition Activity in fabric

• اکتیویتی Set Variable set variable Activity

• اعلان‌ها (Notification) در Fabric Notification in fabric

• اکتیویتی Invoke Pipeline INVOKE PIPELINE Activity

• زمان‌بندی خط لوله در Fabric Schedule pipeline in fabric

• مانیتورینگ خط لوله در Fabric Monitor pipeline in fabric

• اکتیویتی Wait در Fabric Wait activity in fabric

• DATAFLOW GEN2 در Fabric DATAFLOW GEN2 in fabric

• اتصال منابع با استفاده از DATAFLOW GEN2 در Fabric CONNECT SOURCES Using DATAFLOW GEN2 in fabric

• تبدیلات رشته‌ای (String) در DATAFLOW GEN2 DATAFLOW GEN2 -String transformation in fabric

• تبدیلات ریاضی در DATAFLOW GEN2 DATAFLOW GEN2 -Mathematical transformation in fabric

• نمای دیاگرام (Diagram View) در DATAFLOW GEN2 DATAFLOW GEN2 -Diagram View in fabric

• اتصال (Join) در DATAFLOW GEN2 DATAFLOW GEN2 -Join in fabric

• بارگذاری جدول مقصد در DATAFLOW GEN2 DATAFLOW GEN2 - Load destination table in fabric

• مقدمه‌ای بر Spark در Fabric Spark Introduction in fabric

• Spark Pools در Fabric Spark pools in fabric

• ایجاد اولین نوت‌بوک Spark در Fabric Create your first spark notebook in fabric

• ایجاد DataFrame با PySpark در Fabric Create data frame using pyspark in fabric

• دستورات Select، Drop و Limit در PySpark Pyspark select , drop and limit command

• تغییر نوع داده (Typecast) و توابع withColumn Typecast in pyspark - with Column & with Column Renamed

• فیلتر در PySpark در Fabric Filter in pyspark in fabric

• مرتب‌سازی در PySpark Sort in pyspark

• Group By در PySpark Group By in pyspark

• مدیریت Nullها با PySpark در Fabric Handle Nulls using pyspark in fabric

• Spark SQL در Fabric Spark SQL IN fabric

• تجسم داده‌ها (Visualization) در نوت‌بوک PySpark Visualization in pyspark notebook fabric

• ایجاد جداول Manage و External Create Manage and external tables

• ابزارهای نوت‌بوک (Notebook Utils) در Fabric Notebook utils in fabric notebook

• محیط (Environment) در Fabric Environment in fabric

• زمان‌بندی و مانیتورینگ نوت‌بوک در Fabric Schedule and moniter notebook in fabric

• انبار داده (Datawarehouse) چیست و کاربردهای آن What is Datawarehouse & Usecase

• انبار داده در Fabric Datawarehouse in fabric

• بارگذاری داده‌ها در Warehouse Load the data in warehouse

• دستور Copy Into در انبار داده Fabric Copy into command in Fabric datawarehouse

• دستور CTAS (ایجاد جدول از طریق Select) در DWH CTAS - Create Table as Select load data in dwh

• نماها (Views) در DWH Fabric Views in DWH fabric

• رویه ذخیره شده در TSQL Store procedure in TSQL

• کوئری بصری جدید در DWH Fabric New visual query in dwh fabric

• قابلیت دانلود پروژه دیتابیس SQL Download sql database project feature

• نوشتن TSQL در نوت‌بوک Fabric Write T-SQL in Notebook fabric

POWER BI جامع COMPLETE POWER BI

• POWER BI چیست WHAT IS POWER BI

• نصب Power BI Desktop POWER BI DESKTOP INSTALLATION

• بررسی کلی Power BI Desktop POWER BI DESKTOP OVERVIEW

• بارگذاری داده‌ها در Power BI LOAD DATA IN POWER BI

• پروژه Superstore: تنظیم لوگوی هدر SUPERSTORE PROJECT - SET HEADER LOGO

• پروژه Superstore: بصری‌سازی‌های Card SUPERSTORE PROJECT - CARD VISUALS

• پروژه Superstore: نمودار میله‌ای (Bar Chart) SUPERSTORE PROJECT- BAR CHART

• پروژه Superstore: نمودار خطی (Line Chart) SUPERSTORE PROJECT - LINE CHART

• پروژه Superstore: نمودارهای خطی و انباشته SUPERSTORE PROJECT - LINE & STACK

• پروژه Superstore: نمودار دایره‌ای (Pie Chart) SUPERSTORE PROJECT - PIE CHART

• پروژه Superstore: اسلایسر (Slicer) SUPERSTORE PROJECT - SLICER

• پروژه Superstore: نمودار استاتیک SUPERSTORE PROJECT - STATIC CHART

• پروژه Superstore: شاخص‌های KPI SUPERSTORE PROJECT - KPI

• پروژه Superstore: نمودار Gauge SUPERSTORE PROJECT - GAUGE CHART

• پروژه Superstore: دکمه‌های اسلایسر SUPERSTORE PROJECT - SLICER BUTTON

• نقشه (Map) در Power BI MAP IN POWER BI

• نمودار پرسش و پاسخ (Q&A) در Power BI Q & A CHART IN POWER BI

• تولتیپ (Tooltip) در Power BI TOOLTIP IN POWER BI

• فیلترها در Power BI FILTERS IN POWER BI

• قابلیت Drill در Power BI DRILL IN POWER BI

• مدل داده در Power BI DATA MODEL IN POWER BI

• مقدمه‌ای بر DAX INTRODUCTION TO DAX

• فرمت‌های DAX DAX FORMAT

• تابع DATEDIFF در DAX DAX DATEDIFF

• شرط SWITCH در DAX DAX SWITCH CONDITION

• متغیرها در DAX DAX VARIABLE

• توابع CALCULATE و FILTER در DAX DAX CALCULATE & FILTER

PYTHON جامع COMPLETE PYTHON

• مقدمه‌ای بر پایتون (Python) INTRODUCTION - PYTHON

• نصب Anaconda installation anaconda

• پایتون چیست و ویژگی‌های آن WHAT IS PYTHON & FEATURE

• انواع داده‌ها و متغیرها در پایتون PYTHON DATA TYPES & VARIABLES

• تابع ورودی (Input) در پایتون INPUT FUNCTION - PYTHON

• عملگرها در پایتون OPERATORS - PYTHON

• دستورات IF-ELSE در پایتون IF -ELSE STATEMENTS - PYTHON

• حلقه For در پایتون FOR LOOP - PYTHON

• حلقه While در پایتون WHILE LOOP - PYTHON

• لیست‌ها در پایتون LIST IN PYTHON

• متدهای لیست LIST METHOD

• حل مسئله کدنویسی لیست ۱ (کمترین و بیشترین) LIST CODING PROBLEM(LOWEST & HIGHEST) -1

• حل مسئله کدنویسی لیست ۲ (جابجایی دو عضو) LIST CODING PROBLEM -2 (SWAP 2 ELEMENTS)

• حل مسئله کدنویسی لیست ۳ (معکوس کردن لیست) LIST CODING PROBLEM -3 (REVERSE LIST)

• حل مسئله کدنویسی لیست ۴ (مجموع و میانگین) LIST CODING PROBLEM -4 (SUM& AVG LIST)

• حل مسئله کدنویسی لیست ۵ (عضوهای زوج و فرد) LIST CODING PROBLEM -5 (EVEN & ODD LIST)

• حل مسئله کدنویسی لیست ۶ (حذف تکراری‌ها) LIST CODING PROBLEM -6 (REMOVE DUPLICATE LIST)

• درک لیست‌ها (List Comprehension) LIST COMPREHENSION

• تاپل‌ها (Tuples) در پایتون TUPLES IN PYTHON

• مجموعه‌ها (Sets) در پایتون SETS IN PYTHON

• دیکشنری‌ها در پایتون dictionary in python

• رشته‌ها (Strings) در پایتون STRING IN PYTHON

• کدنویسی رشته‌ها string coding

• توابع در پایتون FUNCTIONS IN PYTHON

• مفاهیم *args و **kwargs در پایتون ARGS & KWARS IN PYTHON

• توابع Lambda در پایتون LAMBDA FUNCTION IN PYTHON

• توابع Map، Filter و Reduce در پایتون MAP , FILTER & REDUCE IN PYTHON

• برنامه‌نویسی شی‌گرا (OOP) OBJECT ORIENTED PROGRAMMING

• سازنده (Constructor) و متدها در پایتون CONSTRUCTOR & METHOD IN PYTHON

• وراثت (Inheritance) در پایتون INHERITENCE IN PYTHON

• کپسوله‌سازی (Encapsulation) در پایتون ENCAPSULATION IN PYTHON

• تفاوت Iterable و Iterator ITERABLE VS ITERATOR

• ماژول‌ها در پایتون MODULE IN PYTHON

• ماژول OS در پایتون OS MODULE IN PYTHON

• کار با Date و Datetime در پایتون DATE AND DATETIME IN PYTHON

• مدیریت استثناها (Try-Except) در پایتون TRY - EXCEPTION IN PYTHON

پروژه‌های مهندسی داده AZURE AZURE DATA ENGINEER PROJECTS

• پروژه مهندسی داده: ADLS + ADF + Databricks + Spark SQL DATA ENGINNERING PROJECT - ADLS + ADF + DATABRICKS +SPARK SQL

• پروژه مهندسی داده Azure: ADF + ADLS + Azure SQL + Databricks + Power BI AZURE DATA ENGINNEING PROJECT - ADF + ADLS + AZURE SQL + DATABRICKS + POWER BI

• پروژه مهندسی داده Azure: ADLS + ADF + Spark + SQL Synapse AZURE DATA ENGINEER PROJECT - ADLS + ADF + SPARK + SQL - SYNAPSE

• پروژه‌های جامع (End-to-End) Microsoft Fabric END TO END MICROSOFT FABRIC PROJECTS

• مهاجرت داده‌ها: از SQL محلی به Azure Storage DATA MIGRATION - ONPREM SQL TO AZURE STORAGE

• پروژه خط لوله داده: بارگذاری افزایشی (Incremental Load) DATA PIPELINE PROJECT - INCREMENTAL LOAD

GIT CICD GIT CICD

• ارسال Pull Request RAISE PULL REQUEST

DATABRICKS و PYSPARK جامع - رابط کاربری قدیمی COMPLETE DATABRICKS WITH PYSPARK - LEGACY UI

• مقدمه‌ای بر Spark INRODUCTION TO SPARK

• معماری Spark SPARK ARCHITECTURE

• مفهوم RDD در Spark RDD IN SPARK

• مفاهیم DAG و ارزیابی تنبل (Lazy Evaluation) DAG & LAZY EVALUATION

• راه‌اندازی دیتابریکس DATABRICKS - SETUP

• بررسی کلی دیتابریکس DATABRICKS OVERVIEW

• ایجاد DataFrame در PySpark با استفاده از CSV PYSPARK - DATAFRAME CREATE USING CSV

• ایجاد DataFrame در PySpark با استفاده از JSON PYSPARK - DATAFRAME CREATE USING JSON

• تابع Select در PySpark SELECT FUNCTION - PYSPARK

• توابع withColumn و withColumnRenamed در PySpark withColumn & withColumnRenamed function in PYSPARK

• تابع Filter در PySpark FILTER FUNCTION IN PYSPARK

• توابع Drop و DropDuplicate DROP & DROPDUPLICATE

• Group By در PySpark GROUP BY IN PYSPARK

• اتصال (Joining) در PySpark JOINING IN PYSPARK

• Union و Union All UNION & UNION ALL

• Fill و Fill NA در PySpark FILL & FILL NA IN PYSPARK

• مرتب‌سازی در PySpark SORTING IN PYSPARK

• توابع Collect در PySpark COLLECT IN PYSPARK

• StructType و StructField در PySpark STRUCTTYPE & STRUCTFIELD IN PYSPARK

• Pivot و Unpivot PIVOT & UNPIVOT

• توابع UDF در PySpark UDF IN PYSPARK

• تبدیلات DataFrame DATAFRAME TRANSFORMATION

• ایجاد Temp View در PySpark CREATE TEMP VIEW PYSPARK

• توابع پنجره‌ای (Window Functions) در PySpark WINDOWS FUNCTION IN PYSPARK

• فرمت تاریخ در PySpark DATE FORMAT IN PYSPARK

• فرمت‌های مختلف تاریخ در PySpark DIFFERENT DATE FORMAT IN PYSPARK

• PartitionBy در PySpark PARTITIONBY IN PYSPARK

• تابع Explode در PySpark EXPLODE FUNCTION IN PYSPARK

• تفاوت Cache و Persist CACHE VS PERSIST

• سوال رکورد تکراری در PySpark DUPLICATE RECORD QUESTION - PYSPARK

• سوال مصاحبه (مشتری و سفارش) ۲ INTERVIEW QUESTION (CUSTOMER - ORDER)- 2

• سوال مصاحبه (کارمند و دپارتمان) ۳ INTERVIEW QUESTION (EMPLOYEE DEPARTMENT ) - 3

• سوالات مصاحبه مبتنی بر سناریو ۴ INTERVIEW QUESTION - SCENARIO BASED - 4

• سوال مصاحبه ۵: تجزیه JSON INTERVIEW QUESTION - 5 JSON PARSE

• سوال مصاحبه ۶: فروش (Sales) INTERVIEW QUESTION - 6 (SALES)

• سوال مصاحبه ۷: عدد گم شده INTERVIEW QUESTION - 7 MISSING NUMBER

• سوال مصاحبه ۸: مبتنی بر سناریو INTERVIEW QUESTION - 8 SCENARIO BASED

• پروژه Dumps دیتابریکس ۱ DATABRICKS DUMPS PROJECT -1

• پروژه دیتابریکس: تحلیل فروش DATABRICKS PROJECT - SALES ANALYSIS

• پروژه PySpark PYSPARK PROJECT

آمادگی و مرور مصاحبه مهندسی داده Data Engineer interview preparation & revision

• مصاحبه مهندسی داده ۱ DATA ENGINNER INTERVIEW -1

• مصاحبه مهندسی داده ۲ (کدنویسی پایتون) DATA ENGINNER INTERVIEW -2 (PYTHON CODING)

• مصاحبه مهندسی داده ۳ (کدنویسی SQL) DATA ENGINNER INTERVIEW -3 SQL CODING

• مصاحبه کدنویسی PySpark ۴ PYSPARK CODING INTERVIEW -4

• مصاحبه کدنویسی پایتون ۵ PYTHON CODING INTERVIEW -5

• برترین سوالات مصاحبه SQL مهندسی داده TOP SQL DATA ENGINNER INTERVIEW

• تفاوت Star Schema و Snowflake Schema STAR SCHEMA VS SNOW FLAKE SCHEMA

• تفاوت Data Warehouse و Data Lake DATA WARE HOUSE VS DATALAKE

• پایتون: سوال کدنویسی انتقال صفر (Move Zero) PYTHON - MOVE ZERO CODING QUESTION

• تفاوت Normalization و Denormalization NORMALIZATION VS DENORMALIZATION

• کدنویسی پایتون: مسئله Two Sum PYTHON CODING - TWO SUM PROBLEM

• فرمت‌بندی داده‌های فایل FILE FORMATING DATA

• سوال مصاحبه SQL ۱ SQL INTERVIEW QESTION -1

• سوال مصاحبه SQL ۲ SQL INTERVIEW QUESTION -2

• سوال مصاحبه SQL ۴ SQL INTERVIEW QUESTION -4

• سوال مصاحبه SQL ۵ SQL INTERVIEW QUESTION -5

• سوال مصاحبه SQL ۶ SQL INTERVIEW QUESTION -6

• سوال مصاحبه پایتون ۱ PYTHON INTERVIEW QUESTION -1

• سوال مصاحبه پایتون ۲ PYTHON INTERVIEW QUESTION -2

• سوال مصاحبه پایتون ۳ PYTHON INTERVIEW QUESTION -3

• سوال مصاحبه پایتون ۴ PYTHON INTERVIEW QUESTION -4

• سوال مصاحبه پایتون ۵ PYTHON INTERVIEW QUESTION -5

• سوال مصاحبه پایتون ۶ PYTHON INTERVIEW QUESTION -6

• سوال مصاحبه SQL ۷ SQL INTERVIEW QUESTION -7

• سوال مصاحبه PySpark ۱ PYSPARK INTERVIEW QUESTION -1

• سوال مصاحبه PySpark ۲ PYSPARK INTERVIEW QUESTION -2

• سوال مصاحبه PySpark ۳ PYSPARK INTERVIEW QUESTION -3

• سوال مصاحبه PySpark ۴ PYSPARK INTERVIEW QUESTION -4

• سوال مصاحبه PySpark ۵ PYSPARK INTERVIEW QUESTION -5

• مسئله Two Sum در پایتون TWO SUM - PYTHON