آموزش بهترین روش‌های عملی داده‌های بزرگ با PySpark و Spark Tuning
Best Hands-on Big Data Practices with PySpark & Spark Tuning
در این دوره، تمرین‌های عملی PySpark با استفاده از مطالعات موردی واقعی از دانشگاه و صنعت به دانش‌آموزان ارائه می‌شود تا بتوانند به صورت تعاملی با داده‌های عظیم کار کنند. علاوه بر این، دانش‌آموزان چالش‌های پردازش توزیع‌شده، مانند چولگی داده‌ها و نشت در پردازش داده‌های بزرگ را در نظر خواهند گرفت. ما این دوره را برای کسانی طراحی کردیم که به دنبال تسلط بر Spark و PySpark و گسترش دانش Big Data Analytics با استفاده از موارد استفاده واقعی و چالش برانگیز هستند.
ما با Spark RDD، DF و SQL کار خواهیم کرد تا حجم عظیمی از داده‌ها را در قالب داده‌های نیمه ساختاریافته، ساختاریافته و بدون ساختار پردازش کنیم. نتایج یادگیری و رویکرد تدریس در این دوره با شناسایی حیاتی ترین مهارت های مورد نیاز در صنعت و درک نیازهای محتوای تجزیه و تحلیل داده های بزرگ، یادگیری را تسریع می کند.
ما نه تنها جزئیات موتور Spark را برای پردازش داده در مقیاس بزرگ پوشش خواهیم داد، بلکه مشکلات کلان داده را نیز بررسی خواهیم کرد که به کاربران امکان می دهد فوراً از یک نمای کلی از داده های مقیاس بزرگ به یک نمای کلی تر و دقیق تر تغییر کنند. مشاهده با استفاده از RDD، DF و SQL در نمونه های واقعی. برای دستیابی به هدف این دوره، گام به گام مطالعات موردی Big Data را بررسی خواهیم کرد.
در پایان دوره، می‌توانید برنامه‌های Big Data را برای انواع مختلف داده (حجم، تنوع، صحت) بسازید و با بهترین نمونه‌های کلاسی از مشکلات Big Data با استفاده از PySpark آشنا خواهید شد.
مقدمه دوره Introduction to Course
-
در کانال یوتیوب من به طور عملی پایتون را بیاموزید (رایگان) Learn Hands-on Python on my YouTube Channel (free)
-
ما دوست داریم بدانیم شما چه فکر می کنید! We Would Like to Know What You Think!
-
PySpark برای پردازش موازی PySpark for Parallel Processing
-
محیط کدگذاری جرقه Spark Coding Environment
-
بررسی کدگذاری PySpark با استفاده از RDD (part_1) PySpark Coding review using RDD (part_1)
-
بررسی کدگذاری PySpark با استفاده از RDD (بخش 2) PySpark Coding review using RDD (part_2)
-
بررسی کدگذاری PySpark با استفاده از DF (part_1) PySpark Coding review using DF (part_1)
-
بررسی کدگذاری PySpark با استفاده از DF (part_2) PySpark Coding review using DF (part_2)
مقدمه دوره Introduction to Course
PySpark برای یک فایل نیمه ساختار یافته (JSON) بزرگ PySpark for a large Semi-Structured (JSON) File
-
تجزیه و تحلیل JSON با استفاده از RDD JSON analysis using RDD
-
تجزیه و تحلیل JSON با استفاده از DF JSON analysis using DF
-
چالش اضافی: تجزیه و تحلیل فایل JSON Extra Challenge: JSON file Analysis
PySpark برای یک فایل نیمه ساختار یافته (JSON) بزرگ PySpark for a large Semi-Structured (JSON) File
PySpark برای یک فایل ساختاری بزرگ PySpark for a large Structured File
-
تجزیه و تحلیل داده های ساخت یافته با استفاده از RDD Structured Data Analysis using RDD
-
تجزیه و تحلیل داده های ساخت یافته با استفاده از DF Structured Data Analysis using DF
-
چالش اضافی: تجزیه و تحلیل داده های ساخت یافته Extra Challenge: Structured Data Analysis
PySpark برای یک فایل ساختاری بزرگ PySpark for a large Structured File
PySpark برای یک فایل بزرگ بدون ساختار (LOG). PySpark for a large Unstructured (LOG) File
-
RDD برای تجزیه و تحلیل فایل گزارش RDD for Log File Analysis
-
چالش اضافی: تجزیه و تحلیل فایل ورود به سیستم Extra Challenge: Log file Analysis
PySpark برای یک فایل بزرگ بدون ساختار (LOG). PySpark for a large Unstructured (LOG) File
چالش های پردازش توزیع شده و تنظیم عملکرد جرقه Distributed Processing Challenges and Spark Performance Tuning
-
بهینه سازی داده های کج در Spark (قسمت 1) Optimizing the Skewed Data in Spark (part_1)
-
بهینه سازی داده های کج در Spark (قسمت 2) Optimizing the Skewed Data in Spark (part_2)
-
بهینه سازی داده های کج شده در Spark (قسمت 3) Optimizing the Skewed Data in Spark (part_3)
-
بهینه سازی جرقه برای عملکرد بهتر (جلوگیری از نشت) Spark Optimization for Better Performance (Prevent Spill)
-
Spark Optimization با استفاده از Adaptive Query Execution_1 Spark Optimization using Adaptive Query Execution_1
-
Spark Optimization با استفاده از Adaptive Query Execution_2 Spark Optimization using Adaptive Query Execution_2
چالش های پردازش توزیع شده و تنظیم عملکرد جرقه Distributed Processing Challenges and Spark Performance Tuning
ملاحظات اضافی Additional Considerations
-
ارزیابی تنبل (تحول باریک در مقابل دگرگونی گسترده) Lazy Evaluations (Narrow vs Wide Transformation)
-
Spark چگونه به صورت داخلی یک برنامه (کار، مرحله، مجری و وظیفه) را اجرا می کند؟ How does Spark internally execute a program (job, stage, executor and task)?
-
Spark SQL با استفاده از JDBC (part_1) Spark SQL using JDBC (part_1)
-
Spark SQL با استفاده از JDBC (part_2) Spark SQL using JDBC (part_2)
ملاحظات اضافی Additional Considerations
Udemy (یودمی)
یودمی یکی از بزرگ‌ترین پلتفرم‌های آموزشی آنلاین است که به میلیون‌ها کاربر در سراسر جهان امکان دسترسی به دوره‌های متنوع و کاربردی را فراهم می‌کند. این پلتفرم امکان آموزش در زمینه‌های مختلف از فناوری اطلاعات و برنامه‌نویسی گرفته تا زبان‌های خارجی، مدیریت، و هنر را به کاربران ارائه می‌دهد. با استفاده از یودمی، کاربران می‌توانند به صورت انعطاف‌پذیر و بهینه، مهارت‌های جدیدی را یاد بگیرند و خود را برای بازار کار آماده کنند.
یکی از ویژگی‌های برجسته یودمی، کیفیت بالای دوره‌ها و حضور استادان مجرب و با تجربه در هر حوزه است. این امر به کاربران اعتماد می‌دهد که در حال دریافت آموزش از منابع قابل اعتماد و معتبر هستند و می‌توانند به بهترین شکل ممکن از آموزش‌ها بهره ببرند. به طور خلاصه، یودمی به عنوان یکی از معتبرترین و موثرترین پلتفرم‌های آموزشی آنلاین، به افراد امکان می‌دهد تا به راحتی و با کیفیت، مهارت‌های مورد نیاز خود را ارتقا دهند و به دنبال رشد و پیشرفت شغلی خود باشند.
https://donyad.com/d/b136d0
Amin Karami
مشاور ارشد Big Data و رهبر دوره برای MSc Big Data
نمایش نظرات