آموزش نکات کلیدی PySpark برای دانشمندان داده (کلان داده + پایتون) - آخرین آپدیت

سرفصل ها و درس ها

Course Introduction-مقدمه دوره Course Introduction

• Frequently Asked Questions-سوالات متداول Frequently Asked Questions

• Course Introduction-معرفی دوره Course Introduction

• Course Orientation-جهت گیری دوره Course Orientation

• Course Materials Bulk Download-دانلود یکجای مطالب دوره Course Materials Bulk Download

• Resources for Setting up PySpark-منابع راه اندازی PySpark Resources for Setting up PySpark

• Python Cheatsheet Resources-منابع برگه تقلب پایتون Python Cheatsheet Resources

• Introduction to PySpark-معرفی PySpark Introduction to PySpark

• Transitioning from Python to PySpark Concept Review-مرور مفاهیم گذار از پایتون به PySpark Transitioning from Python to PySpark Concept Review

• Transitioning from Python to PySpark Code Along Activity-فعالیت همراه با کد گذار از پایتون به PySpark Transitioning from Python to PySpark Code Along Activity

Dataframe Essentials: Read, Write, Validate & Explore-اصول Dataframe: خواندن، نوشتن، اعتبارسنجی و کاوش Dataframe Essentials: Read, Write, Validate & Explore

• Dataframe Essentials Concept Review-مرور مفاهیم Dataframe Dataframe Essentials Concept Review

• Dataframe Essentials Concept Review Quiz-آزمون مرور مفاهیم Dataframe Dataframe Essentials Concept Review Quiz

• A little something to keep you going....-یک نکته برای ادامه... A little something to keep you going....

• Read, Write and Validate Dataframes Code Along Activity-فعالیت همراه با کد خواندن، نوشتن و اعتبارسنجی Dataframe Read, Write and Validate Dataframes Code Along Activity

• Read, Write and Validate Data HW-تمرین خواندن، نوشتن و اعتبارسنجی داده Read, Write and Validate Data HW

• Read, Write and Validate Data HW Solutions Code Review-مرور کد حل تمرین خواندن، نوشتن و اعتبارسنجی داده Read, Write and Validate Data HW Solutions Code Review

• A little something to keep you going....-یک نکته برای ادامه... A little something to keep you going....

• Search and Filter Dataframes Code Along Activity-فعالیت همراه با کد جستجو و فیلتر Dataframe Search and Filter Dataframes Code Along Activity

• Search and Filter Dataframes HW-تمرین جستجو و فیلتر Dataframe Search and Filter Dataframes HW

• Search and Filter Dataframes HW Solution Code Review-مرور کد حل تمرین جستجو و فیلتر Dataframe Search and Filter Dataframes HW Solution Code Review

• A little something to keep you going....-یک نکته برای ادامه... A little something to keep you going....

• SQL Options in Spark/PySpark Code Along Activity-فعالیت همراه با کد گزینه‌های SQL در Spark/PySpark SQL Options in Spark/PySpark Code Along Activity

• SQL Options in Spark/PySpark HW-تمرین گزینه‌های SQL در Spark/PySpark SQL Options in Spark/PySpark HW

• SQL Options in Spark/PySpark HW Solutions-حل تمرین گزینه‌های SQL در Spark/PySpark SQL Options in Spark/PySpark HW Solutions

• A little something to keep you going....-یک نکته برای ادامه... A little something to keep you going....

Dataframe Essentials: Clean, Manipulate, Join, Aggregate-اصول Dataframe: پاکسازی، دستکاری، پیوستن، تجمیع Dataframe Essentials: Clean, Manipulate, Join, Aggregate

• Manipulating Dataframes Code Along Activity-فعالیت همراه با کد دستکاری Dataframe Manipulating Dataframes Code Along Activity

• Manipulating Dataframes HW-تمرین دستکاری Dataframe Manipulating Dataframes HW

• Manipulating Dataframes HW Solution-حل تمرین دستکاری Dataframe Manipulating Dataframes HW Solution

• A little something to keep you going....-یک نکته برای ادامه... A little something to keep you going....

• Aggregating Data in Dataframes Code Along Activity-فعالیت همراه با کد تجمیع داده در Dataframe Aggregating Data in Dataframes Code Along Activity

• Aggregating Data in Dataframes HW-تمرین تجمیع داده در Dataframe Aggregating Data in Dataframes HW

• Aggregating Data in Dataframes HW Solution-حل تمرین تجمیع داده در Dataframe Aggregating Data in Dataframes HW Solution

• A little something to keep you going....-یک نکته برای ادامه... A little something to keep you going....

• Joining and Appending Dataframes Code Along Activity-فعالیت همراه با کد پیوستن و الحاق Dataframe Joining and Appending Dataframes Code Along Activity

• Joining and Appending Dataframes HW-تمرین پیوستن و الحاق Dataframe Joining and Appending Dataframes HW

• Joining and Appending Dataframes HW Solution Code Review-مرور کد حل تمرین پیوستن و الحاق Dataframe Joining and Appending Dataframes HW Solution Code Review

• A little something to keep you going....-یک نکته برای ادامه... A little something to keep you going....

• Handling Missing Data in Dataframes Code Along Activity-فعالیت همراه با کد رسیدگی به داده های گمشده در Dataframe Handling Missing Data in Dataframes Code Along Activity

• Handling Missing Data in Dataframes HW-تمرین رسیدگی به داده های گمشده در Dataframe Handling Missing Data in Dataframes HW

• Handling Missing Data in Dataframes HW Solution-حل تمرین رسیدگی به داده های گمشده در Dataframe Handling Missing Data in Dataframes HW Solution

• Dataframe Essentials Coding Master Review-مرور اصلی کدنویسی Dataframe Dataframe Essentials Coding Master Review

• A little something to keep you going....-یک نکته برای ادامه... A little something to keep you going....

Introduction to Spark MLlib-مقدمه ای بر Spark MLlib Introduction to Spark MLlib

• Introduction to Machine Learning Concept Review-مرور مفاهیم مقدمه ای بر یادگیری ماشین Introduction to Machine Learning Concept Review

• Introduction to Machine Learning Quiz-آزمون مقدمه ای بر یادگیری ماشین Introduction to Machine Learning Quiz

• Introduction to MLlib Concept Review-مرور مفاهیم MLlib Introduction to MLlib Concept Review

• Model Selection and Tuning in MLlib Concept Review-مرور مفاهیم انتخاب و تنظیم مدل در MLlib Model Selection and Tuning in MLlib Concept Review

• Model Selection and Tuning in MLlib Quiz-آزمون انتخاب و تنظیم مدل در MLlib Model Selection and Tuning in MLlib Quiz

• Two Links to Bookmark-دو لینک برای نشانه‌گذاری Two Links to Bookmark

• A little something to keep you going....-یک نکته برای ادامه... A little something to keep you going....

Classification in MLlib-طبقه بندی در MLlib Classification in MLlib

• Introduction to Classification in MLlib Concept Review-مرور مفاهیم مقدمه ای بر طبقه بندی در MLlib Introduction to Classification in MLlib Concept Review

• Classification in MLlib Quiz-آزمون طبقه بندی در MLlib Classification in MLlib Quiz

• A little something to keep you going....-یک نکته برای ادامه... A little something to keep you going....

• Classification in MLlib Code Along Part 1: Data Formatting and Transformations-فعالیت همراه با کد طبقه بندی در MLlib قسمت 1: قالب بندی و تبدیل داده Classification in MLlib Code Along Part 1: Data Formatting and Transformations

• Classification in MLlib Code Review Part 2.0: Train and Evaluate Models [Intro]-مرور کد طبقه بندی در MLlib قسمت 2.0: آموزش و ارزیابی مدل‌ها [معرفی] Classification in MLlib Code Review Part 2.0: Train and Evaluate Models [Intro]

• Classification in MLlib Code Review Part 2.1: Train & Test Models [Logistic]-مرور کد طبقه بندی در MLlib قسمت 2.1: آموزش و تست مدل‌ها [لجستیک] Classification in MLlib Code Review Part 2.1: Train & Test Models [Logistic]

• Classification in MLlib Code Review Part 2.2: Train & Test Models [1 vs Rest]-مرور کد طبقه بندی در MLlib قسمت 2.2: آموزش و تست مدل‌ها [1 در برابر بقیه] Classification in MLlib Code Review Part 2.2: Train & Test Models [1 vs Rest]

• A little something to keep you going....-یک نکته برای ادامه... A little something to keep you going....

• Classification in MLlib Code Review Part 2.3: Train & Test Models[Multilayer PC]-مرور کد طبقه بندی در MLlib قسمت 2.3: آموزش و تست مدل‌ها [شبکه عصبی چندلایه] Classification in MLlib Code Review Part 2.3: Train & Test Models[Multilayer PC]

• Classification in MLlib Code Review Part 2.4: Train & Test Models [Naive Bayes]-مرور کد طبقه بندی در MLlib قسمت 2.4: آموزش و تست مدل‌ها [بیزی ساده] Classification in MLlib Code Review Part 2.4: Train & Test Models [Naive Bayes]

• Classification in MLlib Code Review Part 2.5: Train & Test Models [Linear SVM]-مرور کد طبقه بندی در MLlib قسمت 2.5: آموزش و تست مدل‌ها [SVM خطی] Classification in MLlib Code Review Part 2.5: Train & Test Models [Linear SVM]

• Classification in MLlib Code Review Part 2.6: Train & Test Models[Decision Tree]-مرور کد طبقه بندی در MLlib قسمت 2.6: آموزش و تست مدل‌ها [درخت تصمیم] Classification in MLlib Code Review Part 2.6: Train & Test Models[Decision Tree]

• Classification in MLlib Code Review Part 2.7: Train & Test Models[Random Forest]-مرور کد طبقه بندی در MLlib قسمت 2.7: آموزش و تست مدل‌ها [جنگل تصادفی] Classification in MLlib Code Review Part 2.7: Train & Test Models[Random Forest]

• Classification in MLlib Code Review Part 2.8: Train & Test Models [GBT]-مرور کد طبقه بندی در MLlib قسمت 2.8: آموزش و تست مدل‌ها [درخت تقویت شده گرادیانی] Classification in MLlib Code Review Part 2.8: Train & Test Models [GBT]

• A little something to keep you going....-یک نکته برای ادامه... A little something to keep you going....

• BONUS: Add loop functions to your training and evaluation script-پاداش: اضافه کردن توابع حلقه به اسکریپت آموزش و ارزیابی BONUS: Add loop functions to your training and evaluation script

• BONUS: Leverage MLflow to better track and manage your results-پاداش: استفاده از MLflow برای پیگیری و مدیریت بهتر نتایج BONUS: Leverage MLflow to better track and manage your results

• Classification Project-پروژه طبقه بندی Classification Project

• Remember to be creative with this project!-به یاد داشته باشید در این پروژه خلاق باشید! Remember to be creative with this project!

• Classification Project Solution-حل پروژه طبقه بندی Classification Project Solution

Natural Language Processing in MLlib-پردازش زبان طبیعی در MLlib Natural Language Processing in MLlib

• Introduction to Natural Language Processing-معرفی پردازش زبان طبیعی Introduction to Natural Language Processing

• Introduction to Natural Language Processing Quiz-آزمون مقدمه ای بر پردازش زبان طبیعی Introduction to Natural Language Processing Quiz

• Natural Language Processing Concept Review [Part 1: Feature Transformers]-مرور مفاهیم پردازش زبان طبیعی [قسمت 1: تبدیل‌کننده‌های ویژگی] Natural Language Processing Concept Review [Part 1: Feature Transformers]

• Natural Language Processing Concept Review [Part 2: Feature Extractors]-مرور مفاهیم پردازش زبان طبیعی [قسمت 2: استخراج‌کننده‌های ویژگی] Natural Language Processing Concept Review [Part 2: Feature Extractors]

• Natural Language Processing Feature Extractors Quiz-آزمون استخراج‌کننده‌های ویژگی پردازش زبان طبیعی Natural Language Processing Feature Extractors Quiz

• A little something to keep you going....-یک نکته برای ادامه... A little something to keep you going....

• Natural Language Processing Code Along Activity Part 1: Data Prep-فعالیت همراه با کد پردازش زبان طبیعی قسمت 1: آماده سازی داده Natural Language Processing Code Along Activity Part 1: Data Prep

• Natural Language Processing Code Along Activity Part 2: Vectorize, Train & Eval-فعالیت همراه با کد پردازش زبان طبیعی قسمت 2: برداری‌سازی، آموزش و ارزیابی Natural Language Processing Code Along Activity Part 2: Vectorize, Train & Eval

• Natural Language Processing Project-پروژه پردازش زبان طبیعی Natural Language Processing Project

• Natural Language Processing Project Solution-حل پروژه پردازش زبان طبیعی Natural Language Processing Project Solution

• A little something to keep you going....-یک نکته برای ادامه... A little something to keep you going....

Regression in MLlib-رگرسیون در MLlib Regression in MLlib

• Regression in MLlib Concept Review-مرور مفاهیم رگرسیون در MLlib Regression in MLlib Concept Review

• Regression in PySpark's MLlib-رگرسیون در MLlib پایتون Regression in PySpark's MLlib

• Regression in MLlib Code Review Introduction-مقدمه مرور کد رگرسیون در MLlib Regression in MLlib Code Review Introduction

• Regression in MLlib Code Review Part 1: Data Prep-مرور کد رگرسیون در MLlib قسمت 1: آماده سازی داده Regression in MLlib Code Review Part 1: Data Prep

• Regression in MLlib Code Review Part 2.0: Linear Regression-مرور کد رگرسیون در MLlib قسمت 2.0: رگرسیون خطی Regression in MLlib Code Review Part 2.0: Linear Regression

• A little something to keep you going....-یک نکته برای ادامه... A little something to keep you going....

• Regression in MLlib Code Review Part 2.1: Decision Tree Regression-مرور کد رگرسیون در MLlib قسمت 2.1: رگرسیون درخت تصمیم Regression in MLlib Code Review Part 2.1: Decision Tree Regression

• Regression in MLlib Code Review Part 2.2: Random Forest Regression-مرور کد رگرسیون در MLlib قسمت 2.2: رگرسیون جنگل تصادفی Regression in MLlib Code Review Part 2.2: Random Forest Regression

• Regression in MLlib Code Review Part 2.3: Gradient Boosted Tree Regression-مرور کد رگرسیون در MLlib قسمت 2.3: رگرسیون درخت تقویت شده گرادیانی Regression in MLlib Code Review Part 2.3: Gradient Boosted Tree Regression

• A little something to keep you going....-یک نکته برای ادامه... A little something to keep you going....

• BONUS: Add loop functions to your regression training and evaluation script-پاداش: اضافه کردن توابع حلقه به اسکریپت آموزش و ارزیابی رگرسیون BONUS: Add loop functions to your regression training and evaluation script

• Regression Project-پروژه رگرسیون Regression Project

• And finally... have FUN with this project and LOVE what you do!-و در نهایت... از این پروژه لذت ببرید و آنچه را که انجام می دهید دوست داشته باشید! And finally... have FUN with this project and LOVE what you do!

• Regression Project Solution Code Along Activity-فعالیت همراه با کد حل پروژه رگرسیون Regression Project Solution Code Along Activity

Clustering in PySpark-خوشه بندی در PySpark Clustering in PySpark

• Intro to Clustering in MLlib Concept Review-مرور مفاهیم مقدمه ای بر خوشه بندی در MLlib Intro to Clustering in MLlib Concept Review

• Clustering Concept Review Quiz-آزمون مرور مفاهیم خوشه بندی Clustering Concept Review Quiz

• K-Means & Bisecting K-Means in MLlib Code Along Activity-فعالیت همراه با کد K-Means و Bisecting K-Means در MLlib K-Means & Bisecting K-Means in MLlib Code Along Activity

• Latent Dirichlet Allocation in MLlib Code Along Activity-فعالیت همراه با کد تخصیص دیریکله نهفته در MLlib Latent Dirichlet Allocation in MLlib Code Along Activity

• A little something to keep you going....-یک نکته برای ادامه... A little something to keep you going....

• Gaussian Mixture Modeling in MLlib Code Along Activity-فعالیت همراه با کد مدل‌سازی مخلوط گاوسی در MLlib Gaussian Mixture Modeling in MLlib Code Along Activity

• Clustering Project Introduction-معرفی پروژه خوشه بندی Clustering Project Introduction

• Clustering Project Solution Code Review-مرور کد حل پروژه خوشه بندی Clustering Project Solution Code Review

• A little something to keep you going....-یک نکته برای ادامه... A little something to keep you going....

Frequent Pattern Mining in MLlib-کاوش الگوهای متداول در MLlib Frequent Pattern Mining in MLlib

• Frequent Pattern Mining in MLlib Concept Review-مرور مفاهیم کاوش الگوهای متداول در MLlib Frequent Pattern Mining in MLlib Concept Review

• Frequent Pattern Mining Concept Quiz-آزمون مفاهیم کاوش الگوهای متداول Frequent Pattern Mining Concept Quiz

• Frequent Pattern Mining Code Along Activity [Part 1: FP-Growth]-فعالیت همراه با کد کاوش الگوهای متداول [قسمت 1: FP-Growth] Frequent Pattern Mining Code Along Activity [Part 1: FP-Growth]

• Frequent Pattern Mining Code Along Activity [Part 2: PrefixSpan]-فعالیت همراه با کد کاوش الگوهای متداول [قسمت 2: PrefixSpan] Frequent Pattern Mining Code Along Activity [Part 2: PrefixSpan]

• A little something to keep you going....-یک نکته برای ادامه... A little something to keep you going....

• Frequent Pattern Mining Project Introduction-معرفی پروژه کاوش الگوهای متداول Frequent Pattern Mining Project Introduction

• Frequent Pattern Mining Project Solution Code Review-مرور کد حل پروژه کاوش الگوهای متداول Frequent Pattern Mining Project Solution Code Review

Spark Structured Streaming-جریان ساخت یافته Spark Spark Structured Streaming

• Intro to Spark Structured Streaming-مقدمه ای بر جریان ساخت یافته Spark Intro to Spark Structured Streaming

• Intro to Streaming Data Using Sockets-مقدمه ای بر جریان داده با استفاده از سوکت ها Intro to Streaming Data Using Sockets

• Twitter Structure Streaming Project Setup and Intro-تنظیمات و معرفی پروژه جریان ساخت یافته توییتر Twitter Structure Streaming Project Setup and Intro

• Twitter Project Tweet Listener Setup-تنظیمات شنونده توییت پروژه توییتر Twitter Project Tweet Listener Setup

• Twitter Project Structured Stream Setup and Implementation-تنظیم و پیاده سازی جریان ساخت یافته پروژه توییتر Twitter Project Structured Stream Setup and Implementation

• Additional Spark Structured Streaming Resources-منابع اضافی جریان ساخت یافته Spark Additional Spark Structured Streaming Resources

Course Wrap-up-جمع بندی دوره Course Wrap-up

• Closing Remarks-سخنان پایانی Closing Remarks

• Tips for success moving forward-نکاتی برای موفقیت در آینده Tips for success moving forward

• And finally... remember to set your goals HIGH!-و در نهایت... به یاد داشته باشید اهداف خود را بلند تعیین کنید! And finally... remember to set your goals HIGH!