آموزش تسلط بر الگوریتم‌های کلاسیک یادگیری تقویت‌شده - آخرین آپدیت

فرآیندهای تصمیم‌گیری قطعی Deterministic Decision Processes

• مقدمه‌ای بر دوره Course Introduction

• تصمیم‌گیری در طول زمان Decision-Making over Time

• حالات، اقدامات، انتقال‌ها و پاداش‌ها States, Actions, Transitions, and Rewards

• از تصمیمات بازشده تا مدل‌های مبتنی بر حالت From Unfolded Decisions to State-Based Models

• تعریف رسمی یک فرآیند تصمیم‌گیری قطعی Formal Definition of a Deterministic Decision Process

• تنزیل جریان‌های پاداش نامحدود Discounting Infinite Reward Streams

• اجراها، تاریخچه‌ها، سیاست‌ها و ارزش‌ها Runs, Histories, Policies, and Values

• معادلات بهینگی تنزیل‌شده Discounted Optimality Equations

• بررسی ارزش‌ها و استخراج سیاست‌ها Checking Values and Extracting Policies

• چرا معادلات بلمن رفتار بهینه را توصیف می‌کنند Why Bellman Equations Characterize Optimal Behavior

• وجود، یکتایی و تکرار ارزش Existence, Uniqueness, and Value Iteration

زنجیره‌های مارکوف و فرآیندهای تصمیم‌گیری مارکوف Markov Chains and Markov Decision Processes

• مقدمه ماژول Module Introduction

• از انتقال‌های قطعی به انتقال‌های تصادفی From Deterministic to Stochastic Transitions

• زنجیره‌های مارکوف Markov Chains

• فرآیندهای تصمیم‌گیری مارکوف Markov Decision Processes

• سیاست‌ها و ارزش‌ها Policies and Values

• بررسی ارزش‌ها و استخراج سیاست‌ها Checking Values and Extracting Policies

• معادلات بهینگی بلمن Bellman Optimality Equations

• چرا معادلات بهینگی بلمن درست هستند Why Bellman Optimality Equations Are Correct

برنامه‌نویسی پویا در MDPها Dynamic Programming in MDPs

• مقدمه ماژول Module Introduction

• راه‌اندازی برنامه‌ریزی Planning Setup

• ارزیابی سیاست Policy Evaluation

• از ارزش‌ها به سیاست‌های بهتر From Values to Better Policies

• عملگر بهینگی بلمن The Bellman Optimality Operator

• تکرار ارزش به عنوان محاسبه نقطه ثابت Value Iteration as Fixed-Point Computation

• تناوب بین ارزیابی و بهبود Alternating Evaluation and Improvement

• دیدگاه برنامه‌ریزی خطی به بهینگی The Linear Programming View of Optimality

• خلاصه ماژول Module Summary

یادگیری از تجربیات نمونه‌برداری شده Learning from Sampled Experience

• مقدمه ماژول Module Introduction

• از برنامه‌ریزی به یادگیری تقویت‌شده From Planning to Reinforcement Learning

• پاداش‌ها، عدم قطعیت و اکتشاف Rewards, Uncertainty, and Exploration

• رابط عامل-محیط The Agent–Environment Interface

• راهزن تک بازویی One-Armed Bandits

• راهزنان چند بازویی Multi-Armed Bandits

• ارزیابی سیاست مونت کارلو Monte Carlo Policy Evaluation

• کنترل مونت کارلو Monte Carlo Control

• خلاصه ماژول Module Summary

کنترل، اکتشاف و الگوریتم‌های RL جدولی Control, Exploration, and Tabular RL Algorithms

• یادگیری پیش از پایان اپیزود Learning before the Episode Ends

• پیش‌بینی بوت‌استرپ یک مرحله‌ای One-Step Bootstrapped Prediction

• کنترل تفاضل زمانی On-Policy On-Policy Temporal-Difference Control

• کنترل تفاضل زمانی Off-Policy Off-Policy Temporal-Difference Control

• چه سیاستی در حال یادگیری است؟ What Policy Is Being Learned?

• اهداف هموارتر و بیش‌تخمینی Smoother Targets and Overestimation

• کاهش سوگیری بیشینه‌سازی Reducing Maximization Bias

• بین مونت کارلو و TD یک مرحله‌ای Between Monte Carlo and One-Step TD