آموزش Reinforcement Learning (انگلیسی): Master the Art of RL

سرفصل ها و درس ها

معرفی Introduction

• معرفی دوره Course introduction

• نمای کلی دوره Course overview

مقدمه ای بر یادگیری تقویتی Introduction to Reinforcement Learning

• معرفی ماژول و نقشه راه Module intro and roadmap

• RL چیست؟ What is RL?

• RL چه کاری می تواند انجام دهد؟ What RL can do?

• راه اندازی مشکل RL (AREA) The RL problem setup (AREA)

• جایزه Reward

• RL در مقابل یادگیری تحت نظارت RL vs. Supervised Learning

• حالت State

• نمونه های AREA و آزمونها AREA examples and quizes

• محیط های بدنسازی Gym Environments

• داخل عامل RL - مواد تشکیل دهنده عامل RL Inside RL agent - RL agent ingredients

• خط مشی Policy

• ارزش Value

• مدل Model

• طبقه بندی عوامل RL RL agents taxonomy

• پیش بینی در مقابل کنترل Prediction vs Control

فرآیند تصمیم گیری مارکوف (MDP) Markov Decision Process (MDP)

• معرفی ماژول و نقشه راه Module intro and roadmap

• زنجیره مارکوف و فرآیند مارکوف (MP) Markov Chain and Markov Process (MP)

• فرآیند پاداش مارکوف (MRP) Markov Reward Process (MRP)

• فرآیند تصمیم گیری مارکوف (MDP) Markov Decision Process (MDP)

• پیش بینی Prediction

• معادلات بلمن با تابع مقدار عمل Q Bellman Equations with action-value function Q

• کنترل Control

فضاهای راه حل های MDP MDP solutions spaces

• معرفی ماژول و نقشه راه Module intro and roadmap

• برنامه ریزی با برنامه نویسی پویا (DP) Planning with Dynamic Programming (DP)

• پیش بینی با DP - ارزیابی سیاست Prediction with DP - Policy Evaluation

• کنترل با DP - تکرار سیاست و تکرار ارزش Control with DP - Policy Iteration and Value Iteration

• مثال تکرار ارزش Value Iteration example

• پیش بینی با مونت کارلو - ارزیابی خط مشی MC Prediction with Monte-Carlo - MC Policy Evaluation

• پیش‌بینی با اختلاف زمانی (TD) Prediction with Temporal-Difference (TD)

• تی دی لامبدا TD Lambda

• کنترل با مونت کارلو - تکرار سیاست MC Control with Monte-Carlo - MC Policy Iteration

• کنترل با TD - SARSA Control with TD - SARSA

• خارج از سیاست در مقابل سیاست خارجی On-policy vs. Off-policy

• یادگیری کیو Q-learning

• خلاصه راه حل های MDP MDP solutions summary

یادگیری تقویتی عمیق (DRL) Deep Reinforcement Learning (DRL)

• معرفی ماژول و نقشه راه Module intro and roadmap

• یادگیری تقویتی در مقیاس بزرگ Large Scale Reinforcement Learning

• DNN به عنوان تقریبگر تابع DNN as function approximator

• تقریب تابع ارزش Value Function Approximation

• سیاست های DNN DNN policies

• تقریب تابع مقدار با الگوی رمزگذار-رمزگشا DL Value function approximation with DL encoder-decoder pattern

• Deep Q-Networks (DQN) Deep Q-Networks (DQN)

• مثال DQN Atari با Keras-RL و TF-Agents DQN Atari Example with Keras-RL and TF-Agents

DRL پیشرفته Advanced DRL

• معرفی ماژول و نقشه راه Module intro and roadmap

• ارزش‌محور در مقابل سیاست‌محور در مقابل بازیگر منتقد Value-based vs Policy based vs Actor-Critic

• گرادیان خط مشی (PG) Policy Gradients (PG)

• REINFORCE - Monte-Carlo PG REINFORCE - Monte-Carlo PG

• AC - بازیگر- منتقد AC - Actor-Critic

• A2C - Advantage Actor-Critic A2C - Advantage Actor-Critic

• A3C - Asynchronous Advantage Actor-Critic A3C - Asynchronous Advantage Actor-Critic

• TRPO - بهینه سازی خط مشی منطقه مورد اعتماد TRPO - Trusted Region Policy Optimization

• PPO - بهینه سازی سیاست پروگزیمال PPO - Proximal Policy Optimization

• DDPG - گرادیان های سیاست تعیین کننده عمیق DDPG - Deep Determinstic Policy Gradients

• نمای کلی کتابخانه StableBaselines StableBaselines library overview

• نمونه آتاری با خطوط پایه پایدار Atari example with stable-baselines

• نمونه ماریو با خطوط پایه پایدار Mario example with stable-baselines

• مثال StreetFighter با خطوط پایه پایدار StreetFighter example with stable-baselines

یادگیری تقویتی مبتنی بر مدل Model-based Reinforcement Learning

• معرفی ماژول و نقشه راه Module intro and roadmap

• روش های یادگیری مدل Model learning methods

• مدل یادگیری با یادگیری نظارت شده و تقریب تابع Model learning with Supervised Learning and Function Approximation

• برنامه ریزی مبتنی بر نمونه Sample based planning

• Dyna - برنامه ریزی و یادگیری بازجویی Dyna - Intergation planning and Learning

نتیجه Conclusion

• نتیجه Conclusion

مواد Material

• اسلایدها Slides