آموزش یادگیری ماشینی با داده های نامتعادل

سرفصل ها و درس ها

معرفی Introduction

• مروری بر برنامه درسی دوره Course Curriculum Overview

• مروری بر برنامه درسی دوره Course Curriculum Overview

• مواد درسی Course Material

• مواد درسی Course Material

• کد | نوت بوک های Jupyter Code | Jupyter notebooks

• مطالب ارائه شده در دوره Presentations covered in the course

• بسته Python Imbalanced-learn Python package Imbalanced-learn

• مجموعه داده ها را دانلود کنید Download Datasets

• مجموعه داده ها را دانلود کنید Download Datasets

• منابع اضافی برای یادگیری ماشین و برنامه نویسی پایتون Additional resources for Machine Learning and Python programming

معرفی Introduction

• کد | نوت بوک های Jupyter Code | Jupyter notebooks

• مطالب ارائه شده در دوره Presentations covered in the course

• بسته Python Imbalanced-learn Python package Imbalanced-learn

• منابع اضافی برای یادگیری ماشین و برنامه نویسی پایتون Additional resources for Machine Learning and Python programming

یادگیری ماشین با داده های نامتعادل: بررسی اجمالی Machine Learning with Imbalanced Data: Overview

• کلاس های نامتعادل - مقدمه Imbalanced classes - Introduction

• کلاس های نامتعادل - مقدمه Imbalanced classes - Introduction

• ماهیت طبقه نامتعادل Nature of the imbalanced class

• ماهیت طبقه نامتعادل Nature of the imbalanced class

• رویکردهای کار با مجموعه داده های نامتعادل - نمای کلی Approaches to work with imbalanced datasets - Overview

• رویکردهای کار با مجموعه داده های نامتعادل - نمای کلی Approaches to work with imbalanced datasets - Overview

• منابع خواندنی اضافی (اختیاری) Additional Reading Resources (Optional)

یادگیری ماشین با داده های نامتعادل: بررسی اجمالی Machine Learning with Imbalanced Data: Overview

• منابع خواندنی اضافی (اختیاری) Additional Reading Resources (Optional)

معیارهای ارزیابی Evaluation Metrics

• مقدمه ای بر معیارهای عملکرد Introduction to Performance Metrics

• دقت Accuracy

• دقت Accuracy

• دقت - نسخه ی نمایشی Accuracy - Demo

• دقت - نسخه ی نمایشی Accuracy - Demo

• دقت، فراخوانی و اندازه گیری F Precision, Recall and F-measure

• Yellowbrick را نصب کنید Install Yellowbrick

• Yellowbrick را نصب کنید Install Yellowbrick

• دقت، فراخوان و اندازه گیری F - نسخه ی نمایشی Precision, Recall and F-measure - Demo

• جداول سردرگمی، FPR و FNR Confusion tables, FPR and FNR

• جداول سردرگمی، FPR و FNR Confusion tables, FPR and FNR

• جداول سردرگمی، FPR و FNR - نسخه ی نمایشی Confusion tables, FPR and FNR - Demo

• جداول سردرگمی، FPR و FNR - نسخه ی نمایشی Confusion tables, FPR and FNR - Demo

• دقت متعادل Balanced Accuracy

• دقت متعادل Balanced Accuracy

• دقت متعادل - نسخه ی نمایشی Balanced accuracy - Demo

• میانگین هندسی، تسلط، شاخص دقت نامتعادل Geometric Mean, Dominance, Index of Imbalanced Accuracy

• میانگین هندسی، تسلط، شاخص دقت نامتعادل Geometric Mean, Dominance, Index of Imbalanced Accuracy

• میانگین هندسی، تسلط، شاخص دقت نامتعادل - نسخه نمایشی Geometric Mean, Dominance, Index of Imbalanced Accuracy - Demo

• ROC-AUC ROC-AUC

• ROC-AUC ROC-AUC

• ROC-AUC - نسخه ی نمایشی ROC-AUC - Demo

• منحنی فراخوان دقیق Precision-Recall Curve

• منحنی فراخوان دقیق Precision-Recall Curve

• منحنی فراخوان دقیق - نسخه ی نمایشی Precision-Recall Curve - Demo

• منحنی فراخوان دقیق - نسخه ی نمایشی Precision-Recall Curve - Demo

• مقایسه منحنی های ROC و PR - اختیاری Comparison of ROC and PR curves - Optional

• منابع خواندنی اضافی (اختیاری) Additional reading resources (Optional)

• منابع خواندنی اضافی (اختیاری) Additional reading resources (Optional)

• احتمال Probability

• متریک برای Mutliclass Metrics for Mutliclass

• معیارهای چند کلاسه - نسخه ی نمایشی Metrics for Multiclass - Demo

• معیارهای چند کلاسه - نسخه ی نمایشی Metrics for Multiclass - Demo

• منحنی های PR و ROC برای چند کلاسه PR and ROC Curves for Multiclass

• منحنی های روابط عمومی در چند کلاس - نسخه ی نمایشی PR Curves in Multiclass - Demo

• منحنی ROC در چند کلاس - نسخه ی نمایشی ROC Curve in Multiclass - Demo

معیارهای ارزیابی Evaluation Metrics

• مقدمه ای بر معیارهای عملکرد Introduction to Performance Metrics

• دقت، فراخوانی و اندازه گیری F Precision, Recall and F-measure

• دقت، فراخوان و اندازه گیری F - نسخه ی نمایشی Precision, Recall and F-measure - Demo

• دقت متعادل - نسخه ی نمایشی Balanced accuracy - Demo

• میانگین هندسی، تسلط، شاخص دقت نامتعادل - نسخه نمایشی Geometric Mean, Dominance, Index of Imbalanced Accuracy - Demo

• ROC-AUC - نسخه ی نمایشی ROC-AUC - Demo

• مقایسه منحنی های ROC و PR - اختیاری Comparison of ROC and PR curves - Optional

• احتمال Probability

• متریک برای Mutliclass Metrics for Mutliclass

• منحنی های PR و ROC برای چند کلاسه PR and ROC Curves for Multiclass

• منحنی های روابط عمومی در چند کلاس - نسخه ی نمایشی PR Curves in Multiclass - Demo

• منحنی ROC در چند کلاس - نسخه ی نمایشی ROC Curve in Multiclass - Demo

نمونه برداری اولیه Udersampling

• روش های نمونه گیری زیر - مقدمه Under-Sampling Methods - Introduction

• زیر نمونه گیری تصادفی - مقدمه Random Under-Sampling - Intro

• زیر نمونه گیری تصادفی - نسخه ی نمایشی Random Under-Sampling - Demo

• زیر نمونه گیری تصادفی - نسخه ی نمایشی Random Under-Sampling - Demo

• نزدیکترین همسایگان فشرده - مقدمه Condensed Nearest Neighbours - Intro

• نزدیکترین همسایگان فشرده - نسخه ی نمایشی Condensed Nearest Neighbours - Demo

• پیوندهای Tomek - معرفی Tomek Links - Intro

• پیوندهای Tomek - معرفی Tomek Links - Intro

• پیوندهای Tomek - نسخه ی نمایشی Tomek Links - Demo

• انتخاب یک طرفه - مقدمه One Sided Selection - Intro

• انتخاب یک طرفه - نسخه ی نمایشی One Sided Selection - Demo

• انتخاب یک طرفه - نسخه ی نمایشی One Sided Selection - Demo

• ویرایش نزدیکترین همسایگان - مقدمه Edited Nearest Neighbours - Intro

• ویرایش نزدیکترین همسایگان - نسخه ی نمایشی Edited Nearest Neighbours - Demo

• ویرایش مکرر نزدیکترین همسایگان - مقدمه Repeated Edited Nearest Neighbours - Intro

• ویرایش مکرر نزدیکترین همسایگان - نسخه ی نمایشی Repeated Edited Nearest Neighbours - Demo

• ویرایش مکرر نزدیکترین همسایگان - نسخه ی نمایشی Repeated Edited Nearest Neighbours - Demo

• همه KNN - مقدمه All KNN - Intro

• همه KNN - مقدمه All KNN - Intro

• همه KNN - نسخه ی نمایشی All KNN - Demo

• قانون تمیز کردن محله - مقدمه Neighbourhood Cleaning Rule - Intro

• قانون تمیز کردن محله - نسخه ی نمایشی Neighbourhood Cleaning Rule - Demo

• NearMiss - معرفی NearMiss - Intro

• NearMiss - معرفی NearMiss - Intro

• NearMiss - نسخه ی نمایشی NearMiss - Demo

• سختی نمونه - مقدمه Instance Hardness - Intro

• سختی نمونه - مقدمه Instance Hardness - Intro

• آستانه سختی نمونه - نسخه ی نمایشی Instance Hardness Threshold - Demo

• آستانه سختی نمونه - نسخه ی نمایشی Instance Hardness Threshold - Demo

• نمونه آزمایشی چند کلاسه آستانه سختی Instance Hardness Threshold Multiclass Demo

• مقایسه روش کم نمونه گیری Undersampling Method Comparison

• بسته بندی بخش Wrapping up the section

• بسته بندی بخش Wrapping up the section

• راه اندازی یک طبقه بندی کننده با نمونه برداری کمتر و اعتبارسنجی متقابل Setting up a classifier with under-sampling and cross-validation

• راه اندازی یک طبقه بندی کننده با نمونه برداری کمتر و اعتبارسنجی متقابل Setting up a classifier with under-sampling and cross-validation

• جدول جمع بندی Summary Table

نمونه برداری اولیه Udersampling

• روش های نمونه گیری زیر - مقدمه Under-Sampling Methods - Introduction

• زیر نمونه گیری تصادفی - مقدمه Random Under-Sampling - Intro

• نزدیکترین همسایگان فشرده - مقدمه Condensed Nearest Neighbours - Intro

• نزدیکترین همسایگان فشرده - نسخه ی نمایشی Condensed Nearest Neighbours - Demo

• پیوندهای Tomek - نسخه ی نمایشی Tomek Links - Demo

• انتخاب یک طرفه - مقدمه One Sided Selection - Intro

• ویرایش نزدیکترین همسایگان - مقدمه Edited Nearest Neighbours - Intro

• ویرایش نزدیکترین همسایگان - نسخه ی نمایشی Edited Nearest Neighbours - Demo

• ویرایش مکرر نزدیکترین همسایگان - مقدمه Repeated Edited Nearest Neighbours - Intro

• همه KNN - نسخه ی نمایشی All KNN - Demo

• قانون تمیز کردن محله - مقدمه Neighbourhood Cleaning Rule - Intro

• قانون تمیز کردن محله - نسخه ی نمایشی Neighbourhood Cleaning Rule - Demo

• NearMiss - نسخه ی نمایشی NearMiss - Demo

• نمونه آزمایشی چند کلاسه آستانه سختی Instance Hardness Threshold Multiclass Demo

• مقایسه روش کم نمونه گیری Undersampling Method Comparison

• بسته بندی بخش Wrapping up the section

• جدول جمع بندی Summary Table

نمونه برداری بیش از حد Oversampling

• روش های نمونه گیری بیش از حد - مقدمه Over-Sampling Methods - Introduction

• روش های نمونه گیری بیش از حد - مقدمه Over-Sampling Methods - Introduction

• نمونه گیری بیش از حد تصادفی Random Over-Sampling

• نمونه گیری بیش از حد تصادفی Random Over-Sampling

• نمونه برداری تصادفی بیش از حد - نسخه ی نمایشی Random Over-Sampling - Demo

• نمونه برداری تصادفی بیش از حد - نسخه ی نمایشی Random Over-Sampling - Demo

• ROS با صاف کردن - مقدمه ROS with smoothing - Intro

• ROS با صاف کردن - نسخه ی نمایشی ROS with smoothing - Demo

• ROS با صاف کردن - نسخه ی نمایشی ROS with smoothing - Demo

• SMOTE SMOTE

• SMOTE - نسخه ی نمایشی SMOTE - Demo

• SMOTE-NC SMOTE-NC

• SMOTE-NC - نسخه ی نمایشی SMOTE-NC - Demo

• SMOTE-NC - نسخه ی نمایشی SMOTE-NC - Demo

• SMOTE-N SMOTE-N

• SMOTE-N SMOTE-N

• نسخه ی نمایشی SMOTE-N SMOTE-N Demo

• نسخه ی نمایشی SMOTE-N SMOTE-N Demo

• ADASYN ADASYN

• ADASYN - نسخه ی نمایشی ADASYN - Demo

• ADASYN - نسخه ی نمایشی ADASYN - Demo

• SMOTE مرزی Borderline SMOTE

• مرزی SMOTE - نسخه ی نمایشی Borderline SMOTE - Demo

• مرزی SMOTE - نسخه ی نمایشی Borderline SMOTE - Demo

• SVM SMOTE SVM SMOTE

• منابع در SVM ها Resources on SVMs

• SVM SMOTE - نسخه ی نمایشی SVM SMOTE - Demo

• SVM SMOTE - نسخه ی نمایشی SVM SMOTE - Demo

• K-Means SMOTE K-Means SMOTE

• K-Means SMOTE - نسخه ی نمایشی K-Means SMOTE - Demo

• K-Means SMOTE - نسخه ی نمایشی K-Means SMOTE - Demo

• مقایسه روش نمونه گیری بیش از حد Over-Sampling Method Comparison

• مقایسه روش نمونه گیری بیش از حد Over-Sampling Method Comparison

• بسته بندی بخش Wrapping up the section

• بسته بندی بخش Wrapping up the section

• نحوه صحیح تنظیم یک طبقه بندی کننده با نمونه برداری بیش از حد How to Correctly Set Up a Classifier with Over-sampling

• راه اندازی یک طبقه بندی کننده - نسخه ی نمایشی Setting Up a Classifier - Demo

• جدول جمع بندی Summary Table

نمونه برداری بیش از حد Oversampling

• ROS با صاف کردن - مقدمه ROS with smoothing - Intro

• SMOTE SMOTE

• SMOTE - نسخه ی نمایشی SMOTE - Demo

• SMOTE-NC SMOTE-NC

• ADASYN ADASYN

• SMOTE مرزی Borderline SMOTE

• SVM SMOTE SVM SMOTE

• منابع در SVM ها Resources on SVMs

• K-Means SMOTE K-Means SMOTE

• بسته بندی بخش Wrapping up the section

• نحوه صحیح تنظیم یک طبقه بندی کننده با نمونه برداری بیش از حد How to Correctly Set Up a Classifier with Over-sampling

• راه اندازی یک طبقه بندی کننده - نسخه ی نمایشی Setting Up a Classifier - Demo

• جدول جمع بندی Summary Table

بیش و کم نمونه گیری Over and Undersampling

• ترکیب بیش از حد و کمتر از نمونه - مقدمه Combining Over and Under-sampling - Intro

• ترکیب بیش از و کمتر نمونه - نسخه ی نمایشی Combining Over and Under-sampling - Demo

• ترکیب بیش از و کمتر نمونه - نسخه ی نمایشی Combining Over and Under-sampling - Demo

• مقایسه روش های نمونه گیری بیش از حد و کم نمونه Comparison of Over and Under-sampling Methods

• نمونه برداری بیش از حد و کم نمونه را به صورت دستی ترکیب کنید Combine over and under-sampling manually

• بسته شدن Wrapping up

بیش و کم نمونه گیری Over and Undersampling

• ترکیب بیش از حد و کمتر از نمونه - مقدمه Combining Over and Under-sampling - Intro

• مقایسه روش های نمونه گیری بیش از حد و کم نمونه Comparison of Over and Under-sampling Methods

• نمونه برداری بیش از حد و کم نمونه را به صورت دستی ترکیب کنید Combine over and under-sampling manually

• بسته شدن Wrapping up

روش های گروه Ensemble Methods

• روش های مجموعه ای با داده های نامتعادل Ensemble methods with Imbalanced Data

• مبانی یادگیری گروهی Foundations of Ensemble Learning

• کوله بری Bagging

• بسته بندی به اضافه نمونه برداری بیش از حد یا کمتر Bagging plus Over- or Under-Sampling

• بسته بندی به اضافه نمونه برداری بیش از حد یا کمتر Bagging plus Over- or Under-Sampling

• افزایش Boosting

• افزایش Boosting

• تقویت به علاوه نمونه برداری مجدد Boosting plus Re-Sampling

• تقویت به علاوه نمونه برداری مجدد Boosting plus Re-Sampling

• روش های ترکیبی Hybdrid Methods

• روش های گروه - نسخه ی نمایشی Ensemble Methods - Demo

• بسته شدن Wrapping up

• منابع خواندنی اضافی Additional Reading Resources

روش های گروه Ensemble Methods

• روش های مجموعه ای با داده های نامتعادل Ensemble methods with Imbalanced Data

• مبانی یادگیری گروهی Foundations of Ensemble Learning

• کوله بری Bagging

• روش های ترکیبی Hybdrid Methods

• روش های گروه - نسخه ی نمایشی Ensemble Methods - Demo

• بسته شدن Wrapping up

• منابع خواندنی اضافی Additional Reading Resources

یادگیری حساس به هزینه Cost Sensitive Learning

• یادگیری حساس به هزینه - مقدمه Cost-sensitive Learning - Intro

• یادگیری حساس به هزینه - مقدمه Cost-sensitive Learning - Intro

• انواع هزینه Types of Cost

• به دست آوردن هزینه Obtaining the Cost

• به دست آوردن هزینه Obtaining the Cost

• رویکردهای حساس به هزینه Cost Sensitive Approaches

• رویکردهای حساس به هزینه Cost Sensitive Approaches

• هزینه طبقه بندی اشتباه در رگرسیون لجستیک Misclassification Cost in Logistic Regression

• هزینه طبقه بندی اشتباه در درختان تصمیم Misclassification Cost in Decision Trees

• هزینه طبقه بندی اشتباه در درختان تصمیم Misclassification Cost in Decision Trees

• یادگیری حساس به هزینه با Scikit-learn Cost Sensitive Learning with Scikit-learn

• با تنظیم هایپرپارامتر، هزینه بهینه را پیدا کنید Find Optimal Cost with hyperparameter tuning

• ریسک شرطی بیز Bayes Conditional Risk

• متاکاست MetaCost

• متاکاست MetaCost

• MetaCost - نسخه ی نمایشی MetaCost - Demo

• اختیاری: کد پایه MetaCost Optional: MetaCost Base Code

• اختیاری: کد پایه MetaCost Optional: MetaCost Base Code

• منابع خواندنی اضافی Additional Reading Resources

• منابع خواندنی اضافی Additional Reading Resources

یادگیری حساس به هزینه Cost Sensitive Learning

• انواع هزینه Types of Cost

• هزینه طبقه بندی اشتباه در رگرسیون لجستیک Misclassification Cost in Logistic Regression

• یادگیری حساس به هزینه با Scikit-learn Cost Sensitive Learning with Scikit-learn

• با تنظیم هایپرپارامتر، هزینه بهینه را پیدا کنید Find Optimal Cost with hyperparameter tuning

• ریسک شرطی بیز Bayes Conditional Risk

• MetaCost - نسخه ی نمایشی MetaCost - Demo

کالیبراسیون احتمال Probability Calibration

• کالیبراسیون احتمال Probability Calibration

• منحنی های کالیبراسیون احتمال Probability Calibration Curves

• منحنی های کالیبراسیون احتمال Probability Calibration Curves

• منحنی های کالیبراسیون احتمال - نسخه ی نمایشی Probability Calibration Curves - Demo

• امتیاز بریر Brier Score

• امتیاز Brier - نسخه ی نمایشی Brier Score - Demo

• کم و بیش نمونه گیری و یادگیری حساس به هزینه در کالیبراسیون احتمال Under- and Over-sampling and Cost-sensitive learning on Probability Calibration

• کالیبره کردن یک طبقه بندی کننده Calibrating a Classifier

• کالیبره کردن یک طبقه بندی کننده - نسخه ی نمایشی Calibrating a Classifier - Demo

• کالیبره کردن یک Classfiier پس از SMOTE یا نمونه برداری کمتر Calibrating a Classfiier after SMOTE or Under-sampling

• کالیبره کردن یک Classfiier پس از SMOTE یا نمونه برداری کمتر Calibrating a Classfiier after SMOTE or Under-sampling

• کالیبره کردن یک طبقه‌بندی کننده با یادگیری حساس به هزینه Calibrating a Classifier with Cost-sensitive Learning

• کالیبره کردن یک طبقه‌بندی کننده با یادگیری حساس به هزینه Calibrating a Classifier with Cost-sensitive Learning

• احتمال: منابع خواندنی اضافی Probability: Additional reading resources

کالیبراسیون احتمال Probability Calibration

• کالیبراسیون احتمال Probability Calibration

• منحنی های کالیبراسیون احتمال - نسخه ی نمایشی Probability Calibration Curves - Demo

• امتیاز بریر Brier Score

• امتیاز Brier - نسخه ی نمایشی Brier Score - Demo

• کم و بیش نمونه گیری و یادگیری حساس به هزینه در کالیبراسیون احتمال Under- and Over-sampling and Cost-sensitive learning on Probability Calibration

• کالیبره کردن یک طبقه بندی کننده Calibrating a Classifier

• کالیبره کردن یک طبقه بندی کننده - نسخه ی نمایشی Calibrating a Classifier - Demo

• احتمال: منابع خواندنی اضافی Probability: Additional reading resources

همه اش را بگذار کنار هم Putting it all together

• مثال ها Examples

• مثال ها Examples

همه اش را بگذار کنار هم Putting it all together

مراحل بعدی Next steps

• به دوره بعدی رای دهید Vote for the next course!

• به دوره بعدی رای دهید Vote for the next course!

• تبریک می گویم Congratulations

• سخنرانی پاداش Bonus Lecture

• سخنرانی پاداش Bonus Lecture

مراحل بعدی Next steps

• تبریک می گویم Congratulations