آموزش مبانی یادگیری تقویتی - آخرین آپدیت

سرفصل ها و درس ها

مقدمه Introduction

• مقدمه Introduction

• مرور کلی دوره Course overview

مشکل دزدان مسلح K-بازو (K-armed bandits) K-armed bandits

• مقدمه‌ای بر مشکل دزدان مسلح K-بازو Introduction to k-armed bandits

• آماده‌سازی صحنه Setting the scene

• مفاهیم اولیه Initial concepts

• روش‌های ارزش عمل // حریصانه (Greedy) Action value methods // Greedy

• روش‌های ارزش عمل // اپسیلون-حریصانه (Epsilon-greedy) Action value methods // Epsilon-greedy

• روش‌های ارزش عمل // پیاده‌سازی کارآمد Action value methods // Efficient implementation

• دزدان مسلح غیرایستا Non-stationary bandits

• مقادیر اولیه خوش‌بینانه Optimistic initial values

• شروع اولین تکلیف شما: بسترهای آزمایش ۱۰-بازویی Getting started with your first assignement: the 10-armed testbed

• تجربه عملی با دزدان مسلح K-بازو Hands on with k-armed bandits

فرایندهای تصمیم مارکوف (MDPs) Markov Decision Processes (MDPs)

• مقدمه‌ای بر MDPs Introduction to MDPs

• از دزدان مسلح تا MDPs // آماده‌سازی صحنه From bandits to MDPs // setting the scene

• از دزدان مسلح تا MDPs // مرور کامل (Walk-through) دریاچه یخ‌زده From bandits to MDPs // Frozen Lake walk-through

• از دزدان مسلح تا MDPs // مثال‌های دنیای واقعی From bandits to MDPs // Real world examples

• اهداف، پاداش‌ها، بازده‌ها و اپیزودها Goals, rewards, returns and episodes

• سیاست‌ها و توابع ارزش Policies and value functions

• معادلات بلمن // معادله امید ریاضی برای v(s) Bellman equations // Expectation equation for v(s)

• معادلات بلمن // معادله امید ریاضی برای q(s, a) Bellman equations // Expectation equation for q(s, a)

• معادلات بلمن // معادلات بهینگی Bellman equations // Optimality equations

• مرور کامل (Walk-through) // معادله امید ریاضی بلمن Walk-through // Bellman expectation equation

• مرور کامل (Walk-through) // معادله بهینگی بلمن Walk-through // Bellman optimality equation

• مرور کامل (Walk-through) // وارون ماتریس Walk-through // Matrix inversion

• خلاصه بخش MDP MDP section summary

• راه‌حل‌های تحلیلی برای دریاچه یخ‌زده Analytic solutions to Frozen Lake

برنامه‌ریزی پویا (DP) Dynamic Programming (DP)

• مقدمه‌ای بر برنامه‌ریزی پویا Introduction to Dynamic Programming

• ارزیابی سیاست // مقدمه Policy evaluation // introduction

• ارزیابی سیاست // مرور کامل Policy evaluation // walk-through

• بهبود سیاست // مقدمه و اثبات Policy improvement // introduction and proof

• بهبود سیاست // مرور کامل Policy improvement // walk-through

• تکرار سیاست Policy iteration

• تکرار ارزش // مقدمه Value iteration // introduction

• تکرار ارزش // مرور کامل Value iteration // walkthrough

• تجربه عملی با برنامه‌ریزی پویا: اجاره اتومبیل جک Hands on with Dynamic Programming: Jack's Car Rental

روش‌های مونت کارلو Monte Carlo methods

• مقدمه‌ای بر روش‌های مونت کارلو Introduction to Monte Carlo methods

• آماده‌سازی صحنه Setting the scene

• مثال مونت کارلو // مساحت یک ستاره پنج‌پر Monte Carlo example // area of a pentagram

• تمرین: تخمین MC مساحت یک شکل پیچیده Exercise: MC estimation of area of a complex shape

• پیش‌بینی Prediction

• کنترل - شروع‌های کاوشگرانه Control - exploring starts

• کنترل - درون‌سیاستی (on-policy) Control - on-policy

• کنترل - برون‌سیاستی (off-policy) // مفاهیم جدید Control - off-policy // new concepts

• کنترل - برون‌سیاستی (off-policy) // پیاده‌سازی Control - off-policy // implementation

• معرفی محیط // بلک‌جک (Blackjack) Environment introduction // Blackjack

• تجربه عملی با روش‌های مونت کارلو: بلک‌جک Hands on with Monte Carlo methods: Blackjack

روش‌های اختلاف زمانی (TD) Temporal Difference (TD) methods

• مقدمه‌ای بر روش‌های TD Introduction to TD methods

• آماده‌سازی صحنه Setting the scene

• سارسا (Sarsa) Sarsa

• یادگیری کیو (Q-learning) Q-learning

• سارسای مورد انتظار Expected sarsa

• تجربه عملی با روش‌های اختلاف زمانی: پیاده‌روی در صخره Hands on with Temporal Difference methods: Cliff Walking

روش‌های برنامه‌ریزی Planning methods

• مقدمه‌ای بر روش‌های برنامه‌ریزی Introduction to planning methods

• پر کردن دقیقه بی‌رحم Filling the unforgiving minute

• داینا-کیو (Dyna-Q) // مقدمه Dyna-Q // introduction

• داینا-کیو (Dyna-Q) // مرور کامل Dyna-Q // walk-through

• برنامه‌ریزی با محیط‌های غیرایستا: داینا-کیو پلاس (Dyna-Q+) Planning with non-stationary environments: Dyna-Q+

• تجربه عملی با روش‌های برنامه‌ریزی Hands on with planning methods

تبریک و بازخورد Congratulations and feedback

• تبریک می‌گوییم! Congratulations!