آموزش یادگیری ماشین: طبقه‌بندی (Classification) - آخرین آپدیت

خوش آمدید! Welcome!

• به دوره طبقه‌بندی، بخشی از تخصص یادگیری ماشین خوش آمدید Welcome to the classification course, a part of the Machine Learning Specialization

• این دوره درباره چیست؟ What is this course about?

• تأثیر طبقه‌بندی Impact of classification

• مرور کلی دوره Course overview

• سرفصل‌های نیمه اول دوره Outline of first half of course

• سرفصل‌های نیمه دوم دوره Outline of second half of course

• پیش‌نیازهای مورد نیاز Assumed background

• بیایید شروع کنیم! Let's get started!

طبقه‌بندهای خطی و رگرسیون لجستیک Linear Classifiers & Logistic Regression

• طبقه‌بندهای خطی: یک مثال انگیزشی Linear classifiers: A motivating example

• شهود پشت طبقه‌بندهای خطی Intuition behind linear classifiers

• مرزهای تصمیم Decision boundaries

• مدل طبقه‌بند خطی Linear classifier model

• تأثیر مقادیر ضرایب بر مرز تصمیم Effect of coefficient values on decision boundary

• استفاده از ویژگی‌های ورودی Using features of the inputs

• پیش‌بینی احتمالات کلاس Predicting class probabilities

• مروری بر مبانی احتمالات Review of basics of probabilities

• مروری بر مبانی احتمالات شرطی Review of basics of conditional probabilities

• استفاده از احتمالات در طبقه‌بندی Using probabilities in classification

• پیش‌بینی احتمالات کلاس با مدل‌های خطی (تعمیم‌یافته) Predicting class probabilities with (generalized) linear models

• تابع پیوند سیگموئید (یا لجستیک) The sigmoid (or logistic) link function

• مدل رگرسیون لجستیک Logistic regression model

• تأثیر مقادیر ضرایب بر احتمالات پیش‌بینی شده Effect of coefficient values on predicted probabilities

• مرور کلی یادگیری مدل‌های رگرسیون لجستیک Overview of learning logistic regression models

• کدگذاری ورودی‌های طبقه‌ای (Categorical) Encoding categorical inputs

• طبقه‌بندی چندکلاسه با روش یک در مقابل همه Multiclass classification with 1 versus all

• جمع‌بندی طبقه‌بند رگرسیون لجستیک Recap of logistic regression classifier

یادگیری طبقه‌بندهای خطی Learning Linear Classifiers

• هدف: یادگیری پارامترهای رگرسیون لجستیک Goal: Learning parameters of logistic regression

• شهود پشت تخمین حداکثر احتمال (MLE) Intuition behind maximum likelihood estimation

• احتمال داده‌ها (Likelihood) Data likelihood

• یافتن بهترین طبقه‌بند خطی با صعود گرادیان Finding best linear classifier with gradient ascent

• مروری بر صعود گرادیان Review of gradient ascent

• الگوریتم یادگیری برای رگرسیون لجستیک Learning algorithm for logistic regression

• مثالی از محاسبه مشتق برای رگرسیون لجستیک Example of computing derivative for logistic regression

• تفسیر مشتق در رگرسیون لجستیک Interpreting derivative for logistic regression

• خلاصه صعود گرادیان برای رگرسیون لجستیک Summary of gradient ascent for logistic regression

• انتخاب اندازه گام (Step Size) Choosing step size

• احتیاط در مورد اندازه گام‌های خیلی بزرگ Careful with step sizes that are too large

• قاعده سرانگشتی برای انتخاب اندازه گام Rule of thumb for choosing step size

• (بسیار اختیاری) استخراج گرادیان رگرسیون لجستیک: ترفند لگاریتم (VERY OPTIONAL) Deriving gradient of logistic regression: Log trick

• (بسیار اختیاری) بیان احتمال لگاریتمی (VERY OPTIONAL) Expressing the log-likelihood

• (بسیار اختیاری) استخراج احتمال y=1 به شرط x (VERY OPTIONAL) Deriving probability y=-1 given x

• (بسیار اختیاری) بازنویسی احتمال لگاریتمی به فرم ساده‌تر (VERY OPTIONAL) Rewriting the log likelihood into a simpler form

• (بسیار اختیاری) استخراج گرادیان احتمال لگاریتمی (VERY OPTIONAL) Deriving gradient of log likelihood

• جمع‌بندی یادگیری طبقه‌بندهای رگرسیون لجستیک Recap of learning logistic regression classifiers

بیش‌برازش و منظم‌سازی در رگرسیون لجستیک Overfitting & Regularization in Logistic Regression

• ارزیابی یک طبقه‌بند Evaluating a classifier

• مرور بیش‌برازش در رگرسیون Review of overfitting in regression

• بیش‌برازش در طبقه‌بندی Overfitting in classification

• بصری‌سازی بیش‌برازش با ویژگی‌های چندجمله‌ای درجه بالا Visualizing overfitting with high-degree polynomial features

• بیش‌برازش در طبقه‌بندها منجر به پیش‌بینی‌های بیش از حد مطمئن می‌شود Overfitting in classifiers leads to overconfident predictions

• بصری‌سازی پیش‌بینی‌های بیش از حد مطمئن Visualizing overconfident predictions

• (اختیاری) دیدگاهی دیگر به بیش‌برازش در رگرسیون لجستیک (OPTIONAL) Another perspecting on overfitting in logistic regression

• جریمه کردن ضرایب بزرگ برای کاهش بیش‌برازش Penalizing large coefficients to mitigate overfitting

• رگرسیون لجستیک با منظم‌سازی L2 L2 regularized logistic regression

• بصری‌سازی اثر منظم‌سازی L2 در رگرسیون لجستیک Visualizing effect of L2 regularization in logistic regression

• یادگیری رگرسیون لجستیک منظم شده L2 با صعود گرادیان Learning L2 regularized logistic regression with gradient ascent

• رگرسیون لجستیک پراکنده با منظم‌سازی L1 Sparse logistic regression with L1 regularization

• جمع‌بندی بیش‌برازش و منظم‌سازی در رگرسیون لجستیک Recap of overfitting & regularization in logistic regression

درخت‌های تصمیم Decision Trees

• پیش‌بینی نکول وام با درخت‌های تصمیم Predicting loan defaults with decision trees

• شهود پشت درخت‌های تصمیم Intuition behind decision trees

• وظیفه یادگیری درخت‌های تصمیم از داده‌ها Task of learning decision trees from data

• الگوریتم حریصانه بازگشتی Recursive greedy algorithm

• یادگیری یک کنده تصمیم (Decision Stump) Learning a decision stump

• انتخاب بهترین ویژگی برای تقسیم‌بندی Selecting best feature to split on

• زمان توقف بازگشت When to stop recursing

• انجام پیش‌بینی با درخت‌های تصمیم Making predictions with decision trees

• طبقه‌بندی چندکلاسه با درخت‌های تصمیم Multiclass classification with decision trees

• تقسیم‌های آستانه‌ای برای ورودی‌های پیوسته Threshold splits for continuous inputs

• (اختیاری) انتخاب بهترین آستانه برای تقسیم (OPTIONAL) Picking the best threshold to split on

• بصری‌سازی مرزهای تصمیم Visualizing decision boundaries

• جمع‌بندی درخت‌های تصمیم Recap of decision trees

جلوگیری از بیش‌برازش در درخت‌های تصمیم Preventing Overfitting in Decision Trees

• مروری بر بیش‌برازش A review of overfitting

• بیش‌برازش در درخت‌های تصمیم Overfitting in decision trees

• اصل تیغ اوکام: یادگیری درخت‌های تصمیم ساده‌تر Principle of Occam's razor: Learning simpler decision trees

• توقف زودهنگام در یادگیری درخت‌های تصمیم Early stopping in learning decision trees

• (اختیاری) انگیزه‌ای برای هرس کردن (Pruning) (OPTIONAL) Motivating pruning

• (اختیاری) هرس کردن درخت‌های تصمیم برای جلوگیری از بیش‌برازش (OPTIONAL) Pruning decision trees to avoid overfitting

• (اختیاری) الگوریتم هرس درخت (OPTIONAL) Tree pruning algorithm

• جمع‌بندی بیش‌برازش و منظم‌سازی در درخت‌های تصمیم Recap of overfitting and regularization in decision trees

مدیریت داده‌های مفقود Handling Missing Data

• چالش داده‌های مفقود Challenge of missing data

• استراتژی ۱: پاکسازی با نادیده گرفتن داده‌های مفقود Strategy 1: Purification by skipping missing data

• استراتژی ۲: پاکسازی با جایگزینی داده‌های مفقود Strategy 2: Purification by imputing missing data

• اصلاح درخت‌های تصمیم برای مدیریت داده‌های مفقود Modifying decision trees to handle missing data

• انتخاب تقسیم ویژگی با داده‌های مفقود Feature split selection with missing data

• جمع‌بندی مدیریت داده‌های مفقود Recap of handling missing data

بوستینگ (Boosting) Boosting

• پرسش درباره بوستینگ The boosting question

• طبقه‌بندهای گروهی (Ensemble) Ensemble classifiers

• بوستینگ Boosting

• مرور کلی AdaBoost AdaBoost overview

• خطای وزنی Weighted error

• محاسبه ضریب هر جزء از گروه Computing coefficient of each ensemble component

• تغییر وزن داده‌ها برای تمرکز روی خطاها Reweighing data to focus on mistakes

• نرمال‌سازی وزن‌ها Normalizing weights

• مثالی از عملکرد AdaBoost Example of AdaBoost in action

• یادگیری کنده‌های تصمیم بوست شده با AdaBoost Learning boosted decision stumps with AdaBoost

• قضیه بوستینگ The Boosting Theorem

• بیش‌برازش در بوستینگ Overfitting in boosting

• متدهای گروهی، تأثیر بوستینگ و جمع‌بندی سریع Ensemble methods, impact of boosting & quick recap

دقت و فراخوانی (Precision Recall) Precision-Recall

• مطالعه موردی که در آن دقت (Accuracy) بهترین معیار نیست Case-study where accuracy is not best metric for classification

• عملکرد خوب برای یک طبقه‌بند چیست؟ What is good performance for a classifier?

• دقت (Precision): کسری از پیش‌بینی‌های مثبت که واقعاً مثبت هستند Precision: Fraction of positive predictions that are actually positive

• فراخوانی (Recall): کسری از داده‌های مثبت که مثبت پیش‌بینی شده‌اند Recall: Fraction of positive data predicted to be positive

• نقاط حدی دقت و فراخوانی Precision-recall extremes

• تعادل بین دقت و فراخوانی Trading off precision and recall

• منحنی دقت-فراخوانی Precision-recall curve

• جمع‌بندی دقت و فراخوانی Recap of precision-recall

مقیاس‌بندی برای مجموعه‌داده‌های عظیم و یادگیری آنلاین Scaling to Huge Datasets & Online Learning

• صعود گرادیان برای مجموعه‌داده‌های عظیم امروزی مقیاس‌پذیر نیست Gradient ascent won't scale to today's huge datasets

• تاریخچه یادگیری ماشین مقیاس‌پذیر و گرادیان تصادفی Timeline of scalable machine learning & stochastic gradient

• چرا صعود گرادیان مقیاس‌پذیر نیست؟ Why gradient ascent won't scale

• گرادیان تصادفی: یادگیری یک نقطه داده در هر زمان Stochastic gradient: Learning one data point at a time

• مقایسه گرادیان با گرادیان تصادفی Comparing gradient to stochastic gradient

• چرا گرادیان تصادفی باید کار کند؟ Why would stochastic gradient ever work?

• مسیرهای همگرایی Convergence paths

• برهم زدن ترتیب داده‌ها قبل از اجرای گرادیان تصادفی Shuffle data before running stochastic gradient

• انتخاب اندازه گام Choosing step size

• به ضرایب آخر اعتماد نکنید Don't trust last coefficients

• (اختیاری) یادگیری از دسته‌های داده (Batches) (OPTIONAL) Learning from batches of data

• (اختیاری) اندازه‌گیری همگرایی (OPTIONAL) Measuring convergence

• (اختیاری) افزودن منظم‌سازی (OPTIONAL) Adding regularization

• وظیفه یادگیری آنلاین The online learning task

• استفاده از گرادیان تصادفی برای یادگیری آنلاین Using stochastic gradient for online learning

• مقیاس‌بندی برای مجموعه‌داده‌های عظیم از طریق موازی‌سازی و جمع‌بندی ماژول Scaling to huge datasets through parallelization & module recap