آموزش پردازش مقیاس‌پذیر داده‌ها با پایتون - آخرین آپدیت

سرفصل ها و درس ها

مبانی پردازش مقیاس‌پذیر داده‌ها Fundamentals of Scalable Data Processing

• مقیاس‌پذیری در پردازش داده‌ها Scalability in Data Processing

• مقایسه پارادایم‌های پردازشی Comparing Processing Paradigms

• ابزارهای پردازش مقیاس‌پذیر Scalable Processing Tools

• دمو: مقیاس‌بندی پردازش داده‌ها با PySpark و Dask Demo: Scaling Data Processing with PySpark and Dask

استفاده از PySpark برای پردازش داده‌های مقیاس بزرگ PySpark for Large-scale Data Processing

• آشنایی با PySpark Introduction to PySpark

• کار با Spark DataFrames Working with Spark DataFrames

• تبدیلات و عملیات در Spark Transformations and Actions in Spark

• دمو: کار عملی با PySpark Demo: Hands-on with PySpark

استفاده از Dask برای پردازش موازی Dask for Parallel Processing

• آشنایی با Dask و محاسبات موازی Introduction to Dask and Parallel Computing

• دیتافریم‌های Dask و دستکاری موازی داده‌ها Dask DataFrames and Parallel Data Manipulation

• بهینه‌سازی محاسبات Optimizing Computations

• دمو: اجرای Dask برای پردازش موازی Demo: Running Dask for Parallel Processing

مدیریت عملکرد و مقیاس‌پذیری Handle Performance and Scaling

• شناسایی گلوگاه‌های عملکردی Identifying Performance Bottlenecks

• بهینه‌سازی مصرف حافظه Optimizing Memory Usage

• بنچ‌مارکینگ و پروفایلینگ Benchmarking and Profiling

• دمو: مدیریت خطاها در اجرای توزیع‌شده Demo: Handling Failures in Distributed Execution