آموزش پایپ‌لاین‌های داده لیک‌هوس (Lakehouse) با Spark و dbt - آخرین آپدیت

پردازش توزیع‌شده با PySpark Distributed Processing with PySpark

• معرفی تخصص Specialization Introduction

• معرفی دوره Course Introduction

• مبانی پردازش توزیع‌شده داده‌ها Distributed Data Processing Fundamentals

• معماری Apache Spark و جریان اجرا Apache Spark Architecture and Execution Flow

• راه‌اندازی PySpark به صورت محلی Setting Up PySpark Locally

• خواندن فایل‌های CSV، JSON و Parquet با PySpark Reading CSV, JSON, and Parquet with PySpark

• تبدیل داده‌ها با PySpark DataFrames Transforming Data with PySpark DataFrames

• تحلیل داده‌ها با Spark SQL Analysing Data with Spark SQL

• پارتیشن‌ها، شافل‌ها و برنامه‌های اجرا Partitions, Shuffles, and Execution Plans

مهندسی تبدیل با dbt Transformation Engineering with dbt

• مفاهیم ETL، ELT و مهندسی تحلیلی ETL, ELT, and Analytics Engineering

• مدل‌سازی لایه‌ای با dbt Core Layered Modelling with dbt Core

• راه‌اندازی dbt Core با PostgreSQL Setting Up dbt Core with PostgreSQL

• ساخت مدل‌های Staging و Intermediate Building Staging and Intermediate Models

• ایجاد مدل‌های Fact و Dimension Creating Fact and Dimension Models

• تست و مستندسازی مدل‌های dbt Testing and Documenting dbt Models

ارکستراسیون و مبانی لیک‌هوس Orchestration and Lakehouse Foundations

• Apache Airflow و ارکستراسیون جریان کاری Apache Airflow and Workflow Orchestration

• مبانی لیک‌هوس متن‌باز با Iceberg Open Lakehouse Foundations with Iceberg

• اجرای Apache Airflow با Docker Compose Running Apache Airflow with Docker Compose

• ساخت یک DAG در Airflow برای جریان کاری دسته‌ای Building an Airflow DAG for a Batch Workflow

• ایجاد جدول Apache Iceberg روی MinIO Creating an Apache Iceberg Table on MinIO

• ساخت یک پایپ‌لاین لیک‌هوس دسته‌ای ارکستره شده Building an Orchestrated Batch Lakehouse Pipeline

• جمع‌بندی دوره Course Summary