آموزش بهینه سازی فراپارامتر برای یادگیری ماشین

سرفصل ها و درس ها

معرفی Introduction

• معرفی Introduction

• برنامه درسی دوره Course curriculum

• هدف دوره و دانش مورد نیاز Course aim and knowledge requirements

• مطالب دوره Course material

• نوت بوک های Jupyter Jupyter notebooks

• ارائه ها Presentations

• مجموعه داده ها Datasets

• رایانه خود را راه اندازی کنید - بسته های مورد نیاز Set up your computer - required packages

• سوالات متداول FAQ

معرفی Introduction

تنظیم فراپارامتر - نمای کلی Hyperparameter Tuning - Overview

• پارامترها و فراپارامترها Parameters and Hyperparameters

• بهینه سازی هایپرپارامتر Hyperparameter Optimization

تنظیم فراپارامتر - نمای کلی Hyperparameter Tuning - Overview

معیارهای عملکرد Performance metrics

• معیارهای عملکرد - مقدمه Performance Metrics - Introduction

• معیارهای طبقه بندی (اختیاری) Classification Metrics (Optional)

• معیارهای رگرسیون (اختیاری) Regression Metrics (Optional)

• معیارهای یادگیری Scikit Scikit-learn metrics

• ایجاد معیارهای خود Creating your own metrics

• استفاده از معیارهای Scikit-Learn Using Scikit-learn metrics

معیارهای عملکرد Performance metrics

اعتبار سنجی متقابل Cross-Validation

• اعتبار سنجی متقابل Cross-Validation

• تعصب در مقابل واریانس (اختیاری) Bias vs Variance (Optional)

• طرح های اعتبار سنجی متقابل Cross-Validation schemes

• تخمین خطای تعمیم مدل با CV - Demo Estimating the model generalization error with CV - Demo

• اعتبار سنجی متقابل برای تنظیم فراپارامتر - نسخه نمایشی Cross-Validation for Hyperparameter Tuning - Demo

• طرح های ویژه اعتبار سنجی متقابل Special Cross-Validation schemes

• اعتبارسنجی متقابل گروهی - نسخه ی نمایشی Group Cross-Validation - Demo

• Nested Cross-Validation Nested Cross-Validation

• Nested Cross-Validation - نسخه نمایشی Nested Cross-Validation - Demo

اعتبار سنجی متقابل Cross-Validation

الگوریتم های جستجوی پایه Basic Search Algorithms

• الگوریتم های جستجوی پایه - مقدمه Basic Search Algorithms - Introduction

• جستجوی دستی Manual Search

• جستجوی شبکه Grid Search

• جستجوی شبکه - نسخه ی نمایشی Grid Search - Demo

• جستجوی شبکه ای با فضاهای فراپارامترهای مختلف Grid Search with different hyperparameter spaces

• جستجوی تصادفی Random Search

• جستجوی تصادفی با Scikit-learn Random Search with Scikit-learn

• جستجوی تصادفی با Scikit-Optimize Random Search with Scikit-Optimize

• جستجوی تصادفی با Hyperopt Random Search with Hyperopt

• نمونه های بیشتر More examples

الگوریتم های جستجوی پایه Basic Search Algorithms

بهینه سازی بیزی Bayesian Optimization

• جستجوی متوالی Sequential Search

• بهینه سازی بیزی Bayesian Optimization

• استنباط بیزی - مقدمه Bayesian Inference - Introduction

• احتمالات مشترک و مشروط Joint and Conditional Probabilities

• قانون بیز Bayes Rule

• بهینه سازی متوالی مبتنی بر مدل Sequential Model-Based Optimization

• توزیع گاوسی Gaussian Distribution

• توزیع گاوسی چند متغیره Multivariate Gaussian Distribution

• فرآیند گاوسی Gaussian Process

• هسته ها Kernels

• توابع اکتساب Acquisition Functions

• منابع خواندنی اضافی Additional Reading Resources

• Scikit-Optimize - 1-Dimension Scikit-Optimize - 1-Dimension

• Scikit-Optimize - جستجوی دستی Scikit-Optimize - Manual Search

• Scikit-Optimize - جستجوی خودکار Scikit-Optimize - Automatic Search

• Scikit-Optimize - هسته جایگزین Scikit-Optimize - Alternative Kernel

• Scikit-Optimize - شبکه های عصبی Scikit-Optimize - Neuronal Networks

• Scikit-Optimize - CNN - تجزیه و تحلیل جستجو Scikit-Optimize - CNN - Search Analysis

بهینه سازی بیزی Bayesian Optimization

سایر الگوریتم های SMBO Other SMBO Algorithms

• سایر الگوریتم های SMBO Other SMBO Algorithms

• SMAC SMAC

• نسخه ی نمایشی SMAC SMAC Demo

• برآوردگرهای Parzen با ساختار درختی - TPE Tree-structured Parzen Estimators - TPE

• روش TPE TPE Procedure

• هایپرپارامترهای TPE TPE hyperparameters

• TPE - چرا ساختار درختی؟ TPE - why tree-structured?

• TPE با Hyperopt TPE with Hyperopt

• بحث: بهینه سازی بیزی و جستجوی پایه Discussion: Bayesian Optimization and Basic Search

سایر الگوریتم های SMBO Other SMBO Algorithms

بهینه سازی چند وفاداری Multi-fidelity Optimization

• بهینه سازی چند وفاداری Multi-fidelity Optimization

• نصف شدن پی در پی Successive Halving

• هایپرباند Hyperband

• BOHB BOHB

بهینه سازی چند وفاداری Multi-fidelity Optimization

Scikit-Optimize Scikit-Optimize

• Scikit-Optimize Scikit-Optimize

• محتوای بخش Section content

• توزیع های فراپارامتر Hyperparameter Distributions

• تعریف فضای فراپارامتر Defining the hyperparameter space

• تعریف تابع هدف Defining the objective function

• جستجوی تصادفی Random search

• جستجوی بیزی با فرآیندهای گاوسی Bayesian search with Gaussian processes

• جستجوی بیزی با جنگل های تصادفی Bayesian search with Random Forests

• جستجوی بیزی با GBM Bayesian search with GBMs

• موازی سازی جستجوی بیزی Parallelizing a Bayesian search

• جستجوی بیزی با لفاف Scikit-learn Bayesian search with Scikit-learn wrapper

• تغییر هسته فرآیند گاوسی Changing the kernel of a Gaussian Process

• بهینه سازی xgboost Optimizing xgboost

• بهینه سازی فراپارامترهای یک CNN Optimizing Hyperparameters of a CNN

• تجزیه و تحلیل جستجوی CNN Analyzing the CNN search

Scikit-Optimize Scikit-Optimize

هایپراپت Hyperopt

• هایپراپت Hyperopt

• محتوای بخش Section content

• پیکربندی و توزیع فضای جستجو Search space configuration and distributions

• نمونه برداری از فضاهای تو در تو Sampling from nested spaces

• الگوریتم های جستجو Search algorithms

• ارزیابی جستجو Evaluating the search

• بهینه سازی چندین مدل ML به طور همزمان Optimizing multiple ML models simultaneously

• بهینه سازی فراپارامترهای یک CNN Optimizing Hyperparameters of a CNN

• منابع References

هایپراپت Hyperopt

Optuna Optuna

• Optuna Optuna

• توابع اصلی Optuna Optuna main functions

• محتوای بخش Section content

• الگوریتم های جستجو Search algorithms

• بهینه سازی چندین مدل ML به طور همزمان Optimizing multiple ML models with simultaneously

• بهینه سازی هایپرپارامترهای یک CNN Optimizing hyperparameters of a CNN

• بهینه سازی CNN - تمدید شد Optimizing a CNN - extended

• ارزیابی جستجو با توابع داخلی Optuna Evaluating the search with Optuna's built in functions

• منابع References

• نمونه های بیشتر More examples

Optuna Optuna

حرکت رو به جلو Moving Forward

• تبریک می گویم Congratulations

• سخنرانی پاداش Bonus Lecture

حرکت رو به جلو Moving Forward