آموزش جامع Apache Spark با PySpark 2026: از صفر تا متخصص + Delta Lake - آخرین آپدیت

سرفصل ها و درس ها

مقدمه و نقشه راه دوره Introduction & Course Roadmap

• مقدمه اسپارک و بررسی کلی دوره Spark Introduction + Course Overview

• چرا اسپارک؟ Why Spark ?

راه اندازی محیط توسعه Setting up the Development Environment

• درک معماری و اجزای اسپارک Understanding Spark's Architecture and Components

• نصب سریع PySpark (برای ویندوز) Quick Pyspark Installation (For Windows)

• راهنمای نصب سریع PySpark (برای مک‌بوک) Quick Pyspark Installation Help (Macbook)

• مهم: نحوه کار با کدها در این دوره (به‌ویژه مثال‌های طولانی) Important: How to Work with Code in This Course (Especially Longer Examples)

معماری اسپارک Spark Architecture

• درایور، اجرا کننده‌ها و مدیر کلاستر Driver, Executors, Cluster Manager

• عملیات Shuffle، پارتیشن‌ها، تبدیل‌های Narrow در مقابل Wide Shuffle operations, partitions, narrow vs wide transformations

• متغیرهای Broadcast و Accumulators Broadcast variables & accumulators

مبانی اسپارک با PySpark Spark Fundamentals with PySpark

• SparkSession و مقایسه RDD در مقابل DataFrame و Dataset SparkSession, RDDs vs DataFrames vs Datasets

• تبدیل‌ها (Transformations) و اکشن‌ها (Actions) Transformations & Actions (map, filter, reduceByKey, collect…)

• توضیح ارزیابی تنبل (Lazy Evaluation) Lazy evaluation explained

• کشینگ و Persistence Caching & persistence

• تست تسلط بر مبانی: RDDها، دیتا فریم‌ها و Lazy Evaluation Spark Fundamentals Mastery Check: RDDs, DataFrames & Lazy Evaluation

اسپارک SQL و دیتا فریم‌ها (80% از کارهای واقعی) Spark SQL & DataFrames (80% of real jobs)

• خواندن و نوشتن فایل‌های CSV, JSON, Parquet, JDBC Reading/Writing CSV, JSON, Parquet, JDBC

• عملیات روی دیتا فریم (select, filter, groupBy, agg, join) DataFrame operations (select, filter, groupBy, agg, join)

• پرس‌وجوهای Spark SQL Spark SQL queries

• توابع Window و توابع تحلیلی Window functions & analytics functions

استریمینگ ساختاریافته Structured Streaming

• ترکیب Kafka و Spark Streaming Kafka + Spark Streaming

• داشبوردهای بلادرنگ: ساخت داشبورد تحلیلی مشابه Spotify Wrapped Real-time Dashboards: Create a Spotify Wrapped-style Analytics Dashboard

• استفاده از ForeachBatch و Delta Lake sink ForeachBatch + Delta Lake sink

• واترمارکینگ و داده‌های دیررس Watermarking & late data

• پردازش Exactly once با Kafka و Delta (به زودی) Exactly-once with Kafka + Delta (comming)

دلتا لیک و نسخه رایگان Databricks Delta Lake + Databricks Community Edition

• دلتا لیک: استاندارد مدرن Lakehouse داده Delta Lake - The Modern Data Lakehouse Standard

• شروع کار با Delta Lake به صورت محلی (نصب 2 دقیقه‌ای) Getting Started with Delta Lake Locally (PySpark + 2 Minutes Setup)

• تراکنش‌های ACID، سفر در زمان و نسخه‌بندی داده‌ها ACID Transactions, Time Travel, and Data Versioning

• اجبار در شمای داده‌ها (Schema Enforcement) و تکامل ایمن شما Schema Enforcement and Safe Schema Evolution

• عملیات Upsert، حذف و ابعاد به آرامی تغییر کننده با MERGE (به زودی) Upserts, Deletes, and Slowly Changing Dimensions with MERGE (comming)

• بهترین روش‌های Z Ordering, OPTIMIZE و عملکرد پرس‌وجو (به زودی) Z-Ordering, OPTIMIZE, and Query Performance Best Practices (comming)

یادگیری ماشین با MLlib Machine Learning with MLib

• پایپ‌لاین‌های ML، ترانسفورمرها و تخمین‌زن‌ها ML Pipelines, transformers, estimators

• طبقه‌بندی، رگرسیون و خوشه‌بندی Classification, regression, clustering

• اعتبارسنجی متقابل (Cross validation) و تنظیم هایپرپارامترها Cross-validation & hyperparameter tuning

• ترکیب Spark با Pandas UDF و scikit learn / XGBoost Spark + Pandas UDF + scikit-learn / XGBoost

• ترکیب Spark با HuggingFace Spark + HuggingFace

بهینه‌سازی و تنظیم عملکرد اسپارک Spark Optimization & Performance Tuning

• بهینه‌ساز Catalyst و Tungsten Catalyst optimizer, Tungsten

• پارتیشن‌بندی، باکتیینگ و AQE Partitioning, bucketing, AQE

• مدیریت Skew (به زودی) Handling skew (comming)

پروژه‌های دنیای واقعی Real-World Projects

• تحلیل داده‌های تاکسی نیویورک NYC Taxi analysis

• خط لوله پردازش لاگ‌ها Log processing pipeline

• سیستم پیشنهاد فیلم Movie recommendation system

• داشبورد بلادرنگ تحلیل احساسات X (توییتر) X (Twitter) sentiment real-time dashboard

• پروژه خط لوله بر پایه DLT (به زودی) DLT-based pipeline project (comming)

اسپارک در فضای ابری Spark on the Cloud

• بررسی AWS EMR, GCP Dataproc, Azure Synapse AWS EMR, GCP Dataproc, Azure Synapse

• گردش کار کامل در Databricks Community Edition (به زودی) Databricks Community Edition full workflow (comming)