آموزش جامع PySpark: مقدمه‌ای بر ساخت خط لوله‌های داده (Data Pipelines) - آخرین آپدیت

سرفصل ها و درس ها

مقدمه Introduction

• پیش‌نیازها Prerequisites

• بررسی کلی دوره Course overview

• استفاده از مخزن گیت‌هاب Using GitHub repo

1. آشنایی با Spark و PySpark 1. Introduction to Spark and PySpark

• اکوسیستم Apache Spark The Apache Spark ecosystem

• مقدمه‌ای بر Apache Spark: پایه و اساس PySpark Introduction to Apache Spark: The foundation of PySpark

• مقایسه Spark و PySpark Spark vs. PySpark

2. راه‌اندازی PySpark 2. Setting Up PySpark

• دانلود مجموعه داده Downloading a dataset

• راه‌اندازی نوت‌بوک Google Colab Google Colab notebook setup

3. کار با دیتافریم‌های PySpark 3. Working with PySpark DataFrames

• راهکار: کوئری زدن روی دیتافریم Solution: Querying a DataFrame

• فرمت‌های داده و بارگذاری داده‌ها Data formats and loading data

• کوئری‌های پایه (انتخاب، فیلتر و مرتب‌سازی) Basic querying (select, filter, and sort)

• چالش: کوئری زدن روی دیتافریم Challenge: Querying a DataFrame

• اسکیما و انواع داده‌ها Schema and data types

• مقدمه‌ای بر دیتافریم‌های PySpark Introduction to PySpark DataFrames

4. عملیات‌های ضروری دستکاری داده‌ها در PySpark 4. Essential PySpark Data Manipulation

• تجمیع داده‌ها (Aggregating) Aggregating

• مدیریت داده‌های مفقود (Missing Data) Handling missing data

• اتصال‌ها و ادغام‌ها (Unions and Joins) Unions and joins

• نوشتن داده‌ها Writing data

• ایجاد ستون‌های جدید Creating new columns

• چالش: دستکاری‌های ضروری داده‌ها Challenge: Essential data manipulation

• راهکار: دستکاری‌های ضروری داده‌ها Solution: Essential data manipulation

5. آموزش PySpark SQL 5. PySpark SQL

• راهکار: PySpark SQL Solution: PySpark SQL

• ایجاد ویوهای موقت (Temporary Views) Creating temporary views

• PySpark SQL چیست؟ What is PySpark SQL?

• استفاده از کوئری‌های SQL Using SQL queries

• چالش: PySpark SQL Challenge: PySpark SQL

6. استفاده از PySpark در محیط عملیاتی 6. PySpark in a Production Environment

• سرویس‌های ابری Cloud services

• یک گردش‌کار معمول در محیط عملیاتی PySpark A typical PySpark production workflow

• نمونه راه‌اندازی محیط عملیاتی Example production environment setup

• نیازمندی‌های محیط عملیاتی Production environment requirements

جمع‌بندی Conclusion

• مرور مفاهیم کلیدی و گام‌های بعدی Recap of key concepts and next steps