آموزش یادگیری تقویتی مدرن: الگوریتم های بازیگر-نقد

سرفصل ها و درس ها

معرفی Introduction

• آنچه در این دوره خواهید آموخت What You Will Learn in this Course

• پیشینه، نرم افزار و سخت افزار مورد نیاز Required Background, Software, and Hardware

• چگونه در این دوره موفق شویم How to Succeed in this Course

مبانی یادگیری تقویتی Fundamentals of Reinforcement Learning

• مروری بر مفاهیم بنیادی Review of Fundamental Concepts

• محاسبه احتمالات انتقال حالت Calculating State Transition Probabilities

• آموزش هوش مصنوعی در مورد بلک جک با پیش بینی مونت کارلو Teaching an AI about Black Jack with Monte Carlo Prediction

• آموزش هوش مصنوعی نحوه بازی بلک جک با کنترل مونت کارلو Teaching an AI How to Play Black Jack with Monte Carlo Control

• مروری بر روش های یادگیری تفاوت زمانی Review of Temporal Difference Learning Methods

• آموزش هوش مصنوعی در مورد تعادل با پیش بینی TD(0). Teaching an AI about Balance with TD(0) Prediction

• آموزش هوش مصنوعی برای متعادل کردن قطب سبد خرید با یادگیری Q Teaching an AI to Balance the Cart Pole with Q Learning

فرود روی ماه با گرادیان های سیاست و روش های منتقد بازیگر Landing on the Moon with Policy Gradients & Actor Critic Methods

• چه چیزی در مورد روش های گرادیان خط مشی عالی است؟ What's so Great About Policy Gradient Methods?

• ترکیب شبکه های عصبی با مونت کارلو: الگوریتم گرادیان خط مشی را تقویت کنید Combining Neural Networks with Monte Carlo: REINFORCE Policy Gradient Algorithm

• معرفی محیط کاوشگر قمری Introducing the Lunar Lander Environment

• کدگذاری مغز عامل: شبکه گرادیان سیاست Coding the Agent's Brain: The Policy Gradient Network

• کدگذاری عملکرد اصلی عامل گرادیان خط مشی Coding the Policy Gradient Agent's Basic Functionality

• کدگذاری تابع یادگیری عامل Coding the Agent's Learn Function

• کدگذاری حلقه اصلی گرادیان خط مشی و تماشای فرود عامل ما بر روی ماه Coding the Policy Gradient Main Loop and Watching our Agent Land on the Moon

• یادگیری منتقد بازیگر: ترکیب گرادیان های خط مشی و یادگیری تفاوت زمانی Actor Critic Learning: Combining Policy Gradients & Temporal Difference Learning

• کدگذاری شبکه های منتقد بازیگر Coding the Actor Critic Networks

• کدنویسی عامل منتقد بازیگر Coding the Actor Critic Agent

• کد نویسی حلقه اصلی منتقد بازیگر و تماشای فرود مامور ما روی ماه Coding the Actor Critic Main Loop and Watching Our Agent Land on the Moon

گرادیان های سیاست قطعی عمیق (DDPG): بازیگر منتقد با کنش های مستمر Deep Deterministic Policy Gradients (DDPG): Actor Critic with Continuous Actions

• رسیدن به سرعت با یادگیری Deep Q Getting up to Speed With Deep Q Learning

• نحوه خواندن و درک مقالات تحقیقاتی پیشرفته How to Read and Understand Cutting Edge Research Papers

• تجزیه و تحلیل چکیده و مقدمه مقاله DDPG Analyzing the DDPG Paper Abstract and Introduction

• تجزیه و تحلیل مواد پس زمینه Analyzing the Background Material

• قرار است چه الگوریتمی را پیاده سازی کنیم؟ What Algorithm Are We Going to Implement?

• چه نتایجی باید انتظار داشته باشیم؟ What Results Should We Expect?

• چه راه حل های دیگری وجود دارد؟ What Other Solutions are Out There?

• به چه معماری مدل و فراپارامترهایی نیاز داریم؟ What Model Architecture and Hyperparameters Do We Need?

• مدیریت معضل Explore-Exploit: کدگذاری کلاس نویز عمل OU Handling the Explore-Exploit Dilemma: Coding the OU Action Noise Class

• دادن حافظه به نماینده ما: کدگذاری کلاس بافر حافظه تکراری Giving our Agent a Memory: Coding the Replay Memory Buffer Class

• یادگیری عمیق کیو برای روش های منتقد بازیگر: کدگذاری کلاس شبکه منتقد Deep Q Learning for Actor Critic Methods: Coding the Critic Network Class

• کدگذاری کلاس شبکه بازیگر Coding the Actor Network Class

• دادن استقلال ساده به نماینده DDPG: کدگذاری عملکردهای اساسی نماینده ما Giving our DDPG Agent Simple Autonomy: Coding the Basic Functions of Our Agent

• دادن مغز به عامل DDPG: کدگذاری عملکرد یادگیری عامل Giving our DDPG Agent a Brain: Coding the Agent's Learn Function

• کدگذاری عملکرد به روز رسانی پارامتر شبکه Coding the Network Parameter Update Functionality

• کدگذاری حلقه اصلی و تماشای فرود مامور DDPG ما بر روی ماه Coding the Main Loop and Watching Our DDPG Agent Land on the Moon

دو شیب سیاست قطعی عمیق با تاخیر (TD3) Twin Delayed Deep Deterministic Policy Gradients (TD3)

• چند نکته در مورد خواندن این مقاله Some Tips on Reading this Paper

• تجزیه و تحلیل چکیده مقاله TD3 و مقدمه Analyzing the TD3 Paper Abstract and Introduction

• مردم چه راه حل های دیگری را امتحان کرده اند؟ What Other Solutions Have People Tried?

• مروری بر مفاهیم بنیادی Reviewing the Fundamental Concepts

• آیا تعصب بیش از حد در روش‌های نقد بازیگر هم مشکل است؟ Is Overestimation Bias Even a Problem in Actor-Critic Methods?

• چرا واریانس برای روش های منتقد بازیگر مشکل ساز است؟ Why is Variance a Problem for Actor-Critic Methods?

• چه نتایجی می توانیم انتظار داشته باشیم؟ What Results Can We Expect?

• کدگذاری مغزهای عامل TD3 - کلاس های شبکه بازیگر و منتقد Coding the Brains of the TD3 Agent - The Actor and Critic Network Classes

• دادن استقلال ساده به عامل TD3 - کدگذاری عملکرد عامل اصلی Giving our TD3 Agent Simple Autonomy - Coding the Basic Agent Functionality

• دادن مغز به عامل TD3 ما - کدگذاری عملکرد یادگیری Giving our TD3 Agent a Brain - Coding the Learn Function

• کدگذاری عملکرد به روز رسانی پارامتر شبکه Coding the Network Parameter Update Functionality

• کدگذاری حلقه اصلی و تماشای نماینده ما در حال یادگیری راه رفتن Coding the Main Loop And Watching our Agent Learn to Walk

منتقد بازیگر نرم Soft Actor Critic

• یک کلمه سریع روی کاغذ A Quick Word on the Paper

• آشنایی با یک چارچوب جدید Getting Acquainted With a New Framework

• بررسی آنچه قبلا انجام شده است Checking Out What Has Been Done Before

• بازرسی بنیاد این چارچوب جدید Inspecting the Foundation of this New Framework

• کاوش در ریاضیات منتقد بازیگر نرم Digging Into the Mathematics of Soft Actor Critic

• مشاهده نحوه اندازه گیری الگوریتم جدید Seeing How the New Algorithm Measures Up

• کدگذاری شبکه های عصبی Coding the Neural Networks

• کدگذاری Soft Actor Critic Basic Functional Coding the Soft Actor Critic Basic Functionality

• کدگذاری الگوریتم منتقد بازیگر نرم Coding the Soft Actor Critic Algorithm

• کدگذاری حلقه اصلی و ارزیابی نماینده ما Coding the Main Loop and Evaluating Our Agent