آموزش PySpark با کارایی بالا: استراتژی‌های پیشرفته برای پردازش بهینه داده‌ها - آخرین آپدیت

سرفصل ها و درس ها

مقدمه Introduction

• مهندسی داده با کارایی بالا با PySpark High-performance data engineering with PySpark

1. مقدمه‌ای بر پاک‌سازی داده‌ها با کارایی بالا در PySpark 1. Introduction to High-Performance Data Cleaning in PySpark

• مشکلات رایج کیفیت داده‌ها Common data quality issues

• چرا PySpark برای پاک‌سازی داده‌ها مناسب است؟ Why PySpark for data cleaning?

• پاک‌سازی داده‌ها چیست؟ What is data cleaning?

• چالش‌های پاک‌سازی داده‌ها Challenges in data cleaning

2. تکنیک‌های پاک‌سازی داده‌ها با PySpark 2. Data Cleaning Techniques with PySpark

• کیفیت داده در PySpark: شناسایی مشکلات و تکنیک‌های پاک‌سازی موثر Data quality in PySpark: Identifying issues and effective cleaning techniques

• کار با GitHub Codespaces Working with GitHub Codespaces

• جدا کردن ستون‌های ترکیبی داده در PySpark Splitting combined data columns in PySpark

• شناسایی و مدیریت مقادیر Null در PySpark Detecting and handling null values in PySpark

• تکنیک‌های شناسایی و حذف داده‌های ناسازگار در PySpark Techniques to identify and eliminate inconsistent data in PySpark

3. ساختاربندی اسکیم‌های داده (Data Schemas) 3. Structuring Data Schemas

• مدیریت اسکیم در دریاچه‌های داده (Data Lakes) و انبار داده‌ها Schema management in data lakes and warehouses

• اهمیت طراحی اسکیم در مهندسی داده Importance of schema design in data engineering

• استفاده از PySpark برای اعمال و اعتبارسنجی اسکیم Using PySpark for schema enforcement and validation

4. فرمت‌های داده و تکنیک‌های فشرده‌سازی 4. Data Formats and Compression Techniques

• Parquet: فرمت ستونی برتر برای تحلیل‌های با کارایی بالا Parquet: The go-to columnar format for high-performance analytics

• مزایا و معایب Avro Avro pros and cons

• نحوه مدیریت سریال‌سازی و دسریال‌سازی در Avro How Avro handles serialization and deserialization

• بررسی جامع Avro Exploring Avro

• الگوریتم‌های فشرده‌سازی در Spark: مقایسه Zstd، Snappy و LZ4 Compression algorithms in Spark: Comparing Zstd, Snappy, and LZ4

• درک ORC: ذخیره‌سازی ستونی بهینه‌شده سطری Understanding ORC: Optimized row columnar storage

• تکامل اسکیم Avro: مدیریت تغییرات در ساختارهای داده Avro schema evolution: Managing changes in data structures

• مقدمه‌ای بر فرمت‌های داده: درک JSON و CSV Introduction to data formats: Understanding JSON and CSV

• مزایا و معایب ORC ORC pros and cons

• بررسی جامع JSON Exploring JSON

5. مدیریت جابجایی داده‌ها (Shuffling) و عدم تقارن (Skew) 5. Managing Data Shuffling and Skew

• رفع مشکل عدم تقارن داده‌ها (Data Skew) Addressing data skew

• درک تکنیک‌های Shuffling برای به حداقل رساندن جابجایی داده‌ها Understanding data shuffling techniques to minimize data shuffling