آموزش یادگیری ماشین: رگرسیون - آخرین آپدیت

خوش‌آمدگویی Welcome

• خوش‌آمدگویی! Welcome!

• این دوره در مورد چیست؟ What is the course about?

• بررسی کلی نیمه اول دوره Outlining the first half of the course

• بررسی کلی نیمه دوم دوره Outlining the second half of the course

• پیش‌نیازهای مورد نیاز Assumed background

رگرسیون خطی ساده Simple Linear Regression

• مطالعه موردی در پیش‌بینی قیمت مسکن A case study in predicting house prices

• اصول رگرسیون: داده‌ها و مدل Regression fundamentals: data & model

• اصول رگرسیون: تعریف مسئله Regression fundamentals: the task

• دیاگرام بلوکی یادگیری ماشین رگرسیون Regression ML block diagram

• مدل رگرسیون خطی ساده The simple linear regression model

• هزینه استفاده از یک خط مشخص The cost of using a given line

• استفاده از خط برازش شده Using the fitted line

• تفسیر خط برازش شده Interpreting the fitted line

• تعریف هدف بهینه‌سازی کمترین مربعات Defining our least squares optimization objective

• یافتن نقاط ماکزیمم یا مینیمم به صورت تحلیلی Finding maxima or minima analytically

• بیشینه کردن یک تابع تک‌بعدی: یک مثال عملی Maximizing a 1d function: a worked example

• یافتن ماکزیمم از طریق تپه‌نوردی (Hill Climbing) Finding the max via hill climbing

• یافتن مینیمم از طریق تپه نزولی (Hill Descent) Finding the min via hill descent

• انتخاب اندازه گام و معیارهای همگرایی Choosing stepsize and convergence criteria

• گرادیان‌ها: مشتقات در ابعاد متعدد Gradients: derivatives in multiple dimensions

• گرادیان نزولی: تپه نزولی چندبعدی Gradient descent: multidimensional hill descent

• محاسبه گرادیان RSS Computing the gradient of RSS

• روش اول: راه حل فرم بسته Approach 1: closed-form solution

• روش دوم: گرادیان نزولی Approach 2: gradient descent

• مقایسه روش‌ها Comparing the approaches

• تأثیر نقاط با اهرم بالا: بررسی داده‌ها Influence of high leverage points: exploring the data

• تأثیر نقاط با اهرم بالا: حذف مرکز شهر Influence of high leverage points: removing Center City

• تأثیر نقاط با اهرم بالا: حذف شهرهای سطح بالا Influence of high leverage points: removing high-end towns

• توابع هزینه نامتقارن Asymmetric cost functions

• مروری کوتاه A brief recap

رگرسیون چندگانه Multiple Regression

• مقدمه‌ای بر رگرسیون چندگانه Multiple regression intro

• رگرسیون چندجمله‌ای Polynomial regression

• مدل‌سازی فصلی (Seasonality) Modeling seasonality

• کجا فصلی بودن را مشاهده می‌کنیم Where we see seasonality

• رگرسیون با ویژگی‌های عمومی از یک ورودی Regression with general features of 1 input

• ضرورت استفاده از ورودی‌های متعدد Motivating the use of multiple inputs

• تعریف نمادگذاری‌ها Defining notation

• رگرسیون با ویژگی‌های ورودی‌های متعدد Regression with features of multiple inputs

• تفسیر برازش رگرسیون چندگانه Interpreting the multiple regression fit

• بازنویسی مدل تک مشاهده‌ای به صورت نماد برداری Rewriting the single observation model in vector notation

• بازنویسی مدل برای تمام مشاهدات به صورت نماد ماتریسی Rewriting the model for all observations in matrix notation

• محاسبه هزینه یک منحنی D بعدی Computing the cost of a D-dimensional curve

• محاسبه گرادیان RSS Computing the gradient of RSS

• روش اول: راه حل فرم بسته Approach 1: closed-form solution

• بحث در مورد راه حل فرم بسته Discussing the closed-form solution

• روش دوم: گرادیان نزولی Approach 2: gradient descent

• به‌روزرسانی ویژگی به ویژگی Feature-by-feature update

• خلاصه الگوریتمی روش گرادیان نزولی Algorithmic summary of gradient descent approach

• مروری کوتاه A brief recap

ارزیابی عملکرد Assessing Performance

• مقدمه‌ای بر ارزیابی عملکرد Assessing performance intro

• منظور ما از «زیان» (Loss) چیست؟ What do we mean by "loss"?

• خطای آموزش: ارزیابی زیان روی مجموعه آموزش Training error: assessing loss on the training set

• خطای تعمیم: آنچه واقعاً می‌خواهیم Generalization error: what we really want

• خطای تست: آنچه در واقعیت می‌توانیم محاسبه کنیم Test error: what we can actually compute

• تعریف بیش‌برازش (Overfitting) Defining overfitting

• تقسیم داده‌ها به آموزش و تست Training/test split

• خطای کاهش‌ناپذیر و بایاس Irreducible error and bias

• واریانس و موازنه بایاس-واریانس Variance and the bias-variance tradeoff

• خطا در برابر مقدار داده‌ها Error vs. amount of data

• تعریف رسمی سه منبع خطا Formally defining the 3 sources of error

• استخراج رسمی دلیل وجود سه منبع خطا Formally deriving why 3 sources of error

• تقسیم آموزش/اعتبارسنجی/تست برای انتخاب مدل، برازش و ارزیابی Training/validation/test split for model selection, fitting, and assessment

• مروری کوتاه A brief recap

رگرسیون ریج (Ridge) Ridge Regression

• علائم بیش‌برازش در رگرسیون چندجمله‌ای Symptoms of overfitting in polynomial regression

• دموی بیش‌برازش Overfitting demo

• بیش‌برازش در مدل‌های رگرسیون چندگانه کلی‌تر Overfitting for more general multiple regression models

• ایجاد تعادل بین برازش و مقدار ضرایب Balancing fit and magnitude of coefficients

• هدف ریج حاصل و راهکارهای حدی آن The resulting ridge objective and its extreme solutions

• نحوه ایجاد تعادل بین بایاس و واریانس توسط رگرسیون ریج How ridge regression balances bias and variance

• دموی رگرسیون ریج Ridge regression demo

• مسیر ضرایب ریج The ridge coefficient path

• محاسبه گرادیان هدف ریج Computing the gradient of the ridge objective

• روش اول: راه حل فرم بسته Approach 1: closed-form solution

• بحث در مورد راه حل فرم بسته Discussing the closed-form solution

• روش دوم: گرادیان نزولی Approach 2: gradient descent

• انتخاب پارامترهای تنظیم از طریق اعتبار‌سنجی متقاطع Selecting tuning parameters via cross validation

• اعتبارسنجی متقاطع K-fold K-fold cross validation

• نحوه مدیریت عرض از مبدأ (Intercept) How to handle the intercept

• مروری کوتاه A brief recap

انتخاب ویژگی و لاسو (Lasso) Feature Selection & Lasso

• مسئله انتخاب ویژگی The feature selection task

• تمامی زیرمجموعه‌ها All subsets

• پیچیدگی بررسی تمامی زیرمجموعه‌ها Complexity of all subsets

• الگوریتم‌های حریصانه (Greedy) Greedy algorithms

• پیچیدگی الگوریتم گام‌به‌گام پیشرو حریصانه Complexity of the greedy forward stepwise algorithm

• آیا می‌توانیم از منظم‌سازی برای انتخاب ویژگی استفاده کنیم؟ Can we use regularization for feature selection?

• آستانه‌گذاری ضرایب ریج؟ Thresholding ridge coefficients?

• هدف لاسو و مسیر ضرایب آن The lasso objective and its coefficient path

• بصری‌سازی هزینه ریج Visualizing the ridge cost

• بصری‌سازی راه حل ریج Visualizing the ridge solution

• بصری‌سازی هزینه و راه حل لاسو Visualizing the lasso cost and solution

• دموی لاسو Lasso demo

• چه چیزی هدف لاسو را متفاوت می‌کند What makes the lasso objective different

• نزول مختصاتی (Coordinate Descent) Coordinate descent

• نرمال‌سازی ویژگی‌ها Normalizing features

• نزول مختصاتی برای رگرسیون کمترین مربعات (ویژگی‌های نرمال شده) Coordinate descent for least squares regression (normalized features)

• نزول مختصاتی برای لاسو (ویژگی‌های نرمال شده) Coordinate descent for lasso (normalized features)

• ارزیابی همگرایی و سایر حل‌کننده‌های لاسو Assessing convergence and other lasso solvers

• نزول مختصاتی برای لاسو (ویژگی‌های نرمال نشده) Coordinate descent for lasso (unnormalized features)

• استخراج به‌روزرسانی نزول مختصاتی لاسو Deriving the lasso coordinate descent update

• انتخاب شدت جریمه و سایر مسائل عملی در لاسو Choosing the penalty strength and other practical issues with lasso

• مروری کوتاه A brief recap

نزدیک‌ترین همسایگان و رگرسیون کرنل Nearest Neighbors & Kernel Regression

• محدودیت‌های رگرسیون پارامتریک Limitations of parametric regression

• روش رگرسیون ۱-نزدیک‌ترین همسایه 1-Nearest neighbor regression approach

• معیارهای فاصله Distance metrics

• الگوریتم ۱-نزدیک‌ترین همسایه 1-Nearest neighbor algorithm

• رگرسیون k-نزدیک‌ترین همسایه k-Nearest neighbors regression

• k-نزدیک‌ترین همسایه در عمل k-Nearest neighbors in practice

• k-نزدیک‌ترین همسایگان وزنی Weighted k-nearest neighbors

• از k-NN وزنی به رگرسیون کرنل From weighted k-NN to kernel regression

• برازش‌های جهانی مدل‌های پارامتریک در مقابل برازش‌های محلی رگرسیون کرنل Global fits of parametric models vs. local fits of kernel regression

• عملکرد NN با افزایش مقدار داده‌ها Performance of NN as amount of data grows

• مشکلات ابعاد بالا، کمبود داده‌ها و پیچیدگی محاسباتی Issues with high-dimensions, data scarcity, and computational complexity

• k-NN برای طبقه‌بندی k-NN for classification

• مروری کوتاه A brief recap

سخن‌های پایانی Closing Remarks

• رگرسیون ساده و چندگانه Simple and multiple regression

• ارزیابی عملکرد و رگرسیون ریج Assessing performance and ridge regression

• انتخاب ویژگی، لاسو و رگرسیون نزدیک‌ترین همسایه Feature selection, lasso, and nearest neighbor regression

• آنچه پوشش دادیم و آنچه پوشش ندادیم What we covered and what we didn't cover

• سپاسگزارم! Thank you!