آموزش بوت‌کمپ جامع Databricks و PySpark: از صفر تا صد - آخرین آپدیت

سرفصل ها و درس ها

مقدمه Introduction

• مقدمه Introduction

• معرفی دوره Course Introduction

• منابع Resources

آشنایی با دیتابریکس DATABRICKS INTRODUCTION

• دیتابریکس چیست WHAT IS DATABRICKS

• مزایای دیتابریکس DATABRICKS ADVANTAGES

• ساخت حساب رایگان دیتابریکس CREATE DATABRICKS FREE EDITION

• نمای کلی دیتابریکس DATABRICKS OVERVIEW

• لیک‌هوس دیتابریکس DATABRICKS LAKEHOUSE

کاتالوگ یونیتی UNITY CATALOG

• کاتالوگ یونیتی در دیتابریکس چیست WHAT IS UNITY CATALOG IN DATABRICKS

• ساخت کاتالوگ یونیتی در دیتابریکس CREATE UNITY CATALOG IN DATABRICKS

• ساخت جداول مدیریت شده و خارجی CREATE TABLES - MANAGED & EXTERNAL TABLES

• ولوم‌ها در دیتابریکس VOLUMES IN DATABRICKS

• ساخت ولوم‌ها و آپلود فایل‌ها CREATE VOLUMES - UPLOAD FILES IN VOLUMES

مبانی اسپارک SPARK BASICS

• آشنایی با اسپارک INTRODUCTION TO SPARK

• معماری اسپارک SPARK ARCHITECTURE

• RDD چیست WHAT IS RDD

• مفاهیم DAG و ارزیابی تنبل (Lazy Evaluation) DAG & LAZY EVALUATION

آموزش جامع پای‌اسپارک COMPLETE PYSPARK

• راه‌اندازی عملی پای‌اسپارک PYSPARK PRACTICAL SETUP

• دیتا فریم در پای‌اسپارک DATAFRAME - PYSPARK

• ساخت دیتا فریم با JSON و Parquet CREATE DATAFRAME USING JSON & PARQUET - PYSPARK

• تبدیلات Select در پای‌اسپارک SELECT TRANSFORMATION - PYSPARK

• کار با withColumn و withColumnRenamed withColumn & withColumnRenamed - PYSPARK

• فیلتر کردن در پای‌اسپارک FILTER IN PYSPARK

• مقایسه distinct و dropDuplicates distinct vs dropDuplicates - PYSPARK

• مرتب‌سازی Sort و OrderBy SORT & ORDERBY - PYSPARK

• گروه‌بندی Group By در پای‌اسپارک GROUP BY - PYSPARK

• اتصال جداول Join در پای‌اسپارک JOIN - PYSPARK

• اتحاد جداول Union در پای‌اسپارک UNION - PYSPARK

• مدیریت مقادیر Null HANDLE NULL - PYSPARK

• متد Collect در پای‌اسپارک COLLECT - PYSPARK

• کار با StructType و StructField STRUCTTYPE & STRUCTFIELD - PYSPARK

• تبدیلات Pivot و Unpivot PIVOT & UNPIVOT - PYSPARK

• توابع کاربر تعریف شده (UDF) UDF - PYSPARK

• نمای موقت (Temp View) TEMP VIEW - PYSPARK

• توابع پنجره‌ای (Window Functions) WINDOWS FUNCTION - PYSPARK

• مقایسه partitionBy و Repartition partitionBy ,& Repartition - PYSPARK

• فرمت تاریخ در پای‌اسپارک DATE FORMAT - PYSPARK

• توابع مختلف مربوط به تاریخ DIFFERENT DATE FUNCTIONS

• متد Explode در پای‌اسپارک EXPLODE - PYSPARK

اشیای خارجی در Lakehouse دیتابریکس DATABRICKS LAKEHOUSE FOREIGN - OBJECTS

• فایل‌های دیتابریکس DATABRICKS FILES

• فدراسیون Lakehouse دیتابریکس DATABRICKS LAKEHOUSE FEDERATION

• کاتالوگ‌های خارجی و جداول خارجی FOREIGN CATALOG AND FOREIGN TABLES

دیتابریکس SQL DATABRICKS SQL

• دیتابریکس SQL چیست WHAT IS DATABRICKS SQL

• نمای کلی دیتابریکس SQL DATABRICKS SQL OVERVIEW

• پارامترهای دیتابریکس SQL DATABRICKS SQL PARAMETERS

• قطعه کدهای (Snippets) دیتابریکس SQL DATABRICKS SQL SNIPPETS

• مرور دیتابریکس SQL: Join, CTE, Row_Number DATABRICKS SQL REVISION- JOIN , CTE , ROW_NUMBER

• زمان‌بندی کوئری‌ها SCHEDULING - QUERY

• مانیتورینگ کوئری‌ها MONITORING - QUERY

• کش کردن در دیتابریکس CACHE - DATABRICKS

• هشدارها در دیتابریکس ALERTS- DATABRICKS

• داشبوردها و بصری‌سازی در دیتابریکس DATABRICKS - DASHBOARD & Visualization

• معرفی Genie دیتابریکس GENIE - DATABRICKS

جایگاه‌های ETL در Lakehouse دیتابریکس DATABRICKS - LAKEHOUSE JOBS - ETL

• جایگاه‌های Lakehouse دیتابریکس DATABRICKS - LAKEHOUSE JOBS

• پیاده‌سازی عملی Lakehouse Jobs DATABRICKS - LAKEHOUSE JOBS - PRACTICAL

• پیاده‌سازی عملی شرط If Else در Job IF ELSE JOB PRACTICAL - DATABRICKS

• پیاده‌سازی عملی شرط For Each در Job FOR EACH CONDITION BASED JOB PRACTICAL - DATABRICKS

• تریگرهای زمان‌بندی شده SCHEDULED TRIGGER

• محاسبات (Compute) در Jobهای دیتابریکس COMPUTE JOBS - DATABRICKS

• اعلان‌های Jobها در دیتابریکس NOTIFICATION JOBS - DATABRICKS

• مانیتورینگ Jobها در دیتابریکس MONITORING JOBS - DATABRICKS

اتولودر و استریمینگ ساختاریافته اسپارک Auto Loader - Spark Structure Streaming

• استریمینگ اسپارک چیست What is Spark Streaming

• چالش‌های استریمینگ و معرفی Auto Loader Spark Streaming Challenges & Auto Loader Intro

• معماری Auto Loader AUTO LOADER - ARCHITECTURE

• معرفی عملی Auto Loader AUTO LOADER - PRACTICAL INTRO

• راه‌اندازی عملی Auto Loader AUTO LOADER - PRACTICAL SETUP

• نوشتن اسکریپت عملی Auto Loader AUTO LOADER - PRACTICAL SCRIPT

• بارگذاری افزایشی (Incremental Load) AUTO LOADER - INCREMENTAL LOAD

• مدیریت شمای داده در Auto Loader AUTO LOADER - SCHEMA HANDLE

• معرفی دستور Copy Into COPY INTO - INTRODUCTION

• پیاده‌سازی عملی Copy Into COPY INTO - PRACTICAL

جداول زنده دلتا (DLT) DLT - DELTA LIVE TABLES

• معرفی جداول زنده دلتا (DLT) WHAT IS DLT ( DELTA LIVE TABLES)

• DLT چه مشکلی را حل می‌کند WHAT PROBLEM DLT IS SOLVING

• مزایای DLT DLT - ADVANTAGES

• موردهای کاربردی DLT DLT USE CASE

• نمای کلی عملی DLT DLT - PRACTICAL OVERVIEW

• مجموعه‌داده‌های DLT (جداول استریم، ویو، ویوهای متریالایز شده) DLT DATASET - ( STREAMING TABLE , VIEW , MATERIALIZED VIEW)

• پیاده‌سازی عملی Streaming Table در DLT DLT PRACTICAL - STREAMING TABLE

• پیاده‌سازی عملی Materialized View در DLT DLT PRACTICAL - MATERIALIZED VIEW

• پیاده‌سازی عملی View در DLT DLT PRACTICAL - VIEW

• پیاده‌سازی عملی DLT با پایتون DLT PRACTICAL - PYTHON

اسپارک SQL در دیتابریکس SPARK SQL - DATABRICKS

• مبانی اسپارک SQL SPARK SQL BASIC

• مبانی اسپارک SQL ۲ (Limit, Like, Distinct) SPARK SQL BASIC -2 ( LIMIT , LIKE ,DISTINCT)

• اتصال و اتحاد در اسپارک SQL SPARK SQL - JOINING & UNION

• توابع پیشرفته پنجره‌ای در اسپارک SQL SPARK SQL - ADVANCE - WINDOWS FUNCTION

• توابع پیشرفته Lead و Lag در اسپارک SQL SPARK SQL ADVANCE - LEAD & LAG

سوالات و پاسخ‌های مصاحبه پای‌اسپارک PYSPARK INTERVIEW QUESTION AND ANSWER

• مقایسه Cache در مقابل Persist CACHE VS PERSISTS

• سوالات کدنویسی رکورد‌های تکراری در پای‌اسپارک DUPLICATE RECORD QUESTIONS - PYSPARK CODING

• سوالات کدنویسی مشتری و سفارش در پای‌اسپارک CUSTOMER - ORDER QUESTIONS - PYSPARK CODING

• سوالات کدنویسی کارمند و دپارتمان در پای‌اسپارک EMPLOYEE - DEPARTMENT QUESTIONS - PYSPARK CODING

• کدنویسی بر اساس سناریو در پای‌اسپارک PYSPARK SCENARIO BASED CODING

• سوال کدنویسی پارس کردن JSON JSON PARSE - CODING QUESTION

• کدنویسی فروش تجمعی در پای‌اسپارک CUMMLATIVE SALES PYSPARK CODING

• سوال کدنویسی مصاحبه: عدد گمشده MISSING NUMBER - INTERVIEW CODING

• کدنویسی بر اساس سناریو ۲ در پای‌اسپارک SCENARION BASED - PYSPARK CODING -2

• مصاحبه جامع پای‌اسپارک PYSPARK INTERVIEW

راه‌اندازی CI/CD دیتابریکس با گیت‌هاب Databricks CI/CD Setup with GitHub

• تئوری راه‌اندازی CI/CD دیتابریکس با گیت‌هاب Databricks CI/CD Setup with GitHub - Theory

• پیاده‌سازی عملی ادغام دیتابریکس و گیت‌هاب Databricks integration with GitHub - Practical

• ساخت شاخه‌ها و مراحل انتقال به محیط Production Databricks Branches Creation and Steps to follow in Production

• اجرای Job محیط Production متصل به گیت‌هاب Run production Job in Databricks pointing Github

پروژه تحلیل فروش خرده‌فروشی و معماری مدالیون PROJECT RETAIL SALES ANALYTICS PROJECT - MEDALLION ARCHITECTURE

• معرفی پروژه و مورد کاربردی PROJECT INTRODUCTION & USE CASE

• راه‌اندازی پروژه و لایه برنزی (Bronze) PROJECT SETUP & BRONZE LAYER

• لایه نقره‌ای (Silver) با پای‌اسپارک SILVER LAYER - PYSPARK

• ساخت لایه طلایی (Gold) و داشبورد GOLD LAYER CREATION AND DASHBOARD

آموزش جامع پایتون COMPLETE PYTHON

• مقدمه لیست آموزشی پایتون Introduction to Python Playlist

• پایتون چیست و ویژگی‌های آن What Is Python And Feature

• انواع داده‌ها و متغیرها در پایتون Python Data Type And Variables

• تابع ورودی input() Python Input() Function

• عملگرها در پایتون Python Operators

• دستورات شرطی if Else Python if Else Statements

• حلقه For در پایتون Python For Loop

• حلقه While در پایتون While Loop in Python

• لیست‌ها در پایتون List in Python

• متدهای لیست در پایتون List Method in Python

• مسئله کدنویسی لیست ۱ (کمترین و بیشترین) List Coding Problem -1 (lowest & highest)

• مسئله کدنویسی لیست ۲ (جابجایی دو المان) List Coding Problem -2 (swap two element in list)

• مسئله کدنویسی لیست ۳ (معکوس کردن لیست) List Coding Problem -3 (reverse list)

• مسئله کدنویسی لیست ۴ (مجموع و میانگین) List Coding Problem -4 (sum and average of given list)

• مسئله کدنویسی لیست ۵ (اعداد زوج و فرد) List Coding Problem -5 ( even and odd from list)

• مسئله کدنویسی لیست ۶ (حذف تکراری‌ها) List Coding Problem -6 ( remove duplicate from list)

• لیست کامپرهنشن (List Comprehension) List Comprehension

• تاپل‌ها (Tuples) در پایتون Tuples in Python

• مجموعه‌ها (Sets) در پایتون Sets in Python

• دیکشنری‌ها در پایتون Dictionary in Python

• رشته‌ها (Strings) در پایتون String in Python

• سوالات کدنویسی رشته‌ها String Coding Questions in Python

• توابع در پایتون Functions in Python

• کار با Args و Kwargs Args and Kwargs in Python

• توابع لامبدا (Lambda) Lambda in Python

• توابع Map, Filter و Reduce Map, Filter and Reduce in Python

• برنامه‌نویسی شیءگرا (OOPS) در پایتون OOPS in Python

• سازنده (Constructor) و متدها در پایتون Constructor and Method in Python

• وراثت (Inheritance) در پایتون Inhertitence in Python

• کپسوله‌سازی (Encapsulation) در پایتون Encapslation in Python

• مقایسه Iterable و Iterator Iterable vs Iterator

• ماژول‌ها در پایتون Module in Python

• ماژول OS در پایتون OS Module in Python

• کار با Date و Datetime Date And Datetime in Python

• مدیریت خطا با Try Except Try -Except in Python