آموزش یادگیری تقویتی مدرن: یادگیری عمیق Q در PyTorch

سرفصل ها و درس ها

معرفی Introduction

• آنچه در این دوره خواهید آموخت What You Will Learn In This Course

• پس زمینه، نرم افزار و سخت افزار مورد نیاز Required Background, software, and hardware

• چگونه در این دوره موفق شویم How to Succeed in this Course

مبانی یادگیری تقویتی Fundamentals of Reinforcement Learning

• عوامل، محیط ها و اقدامات Agents, Environments, and Actions

• فرآیندهای تصمیم گیری مارکوف Markov Decision Processes

• توابع ارزش، توابع ارزش عمل، و معادله بلمن Value Functions, Action Value Functions, and the Bellman Equation

• مدل رایگان در مقابل یادگیری مبتنی بر مدل Model Free vs. Model Based Learning

• معضل کاوش- بهره برداری The Explore-Exploit Dilemma

• یادگیری تفاوت زمانی Temporal Difference Learning

دوره تصادفی یادگیری عمیق Deep Learning Crash Course

• برخورد با فضاهای حالت پیوسته با شبکه های عصبی عمیق Dealing with Continuous State Spaces with Deep Neural Networks

• آموزش ساده Deep Q در کد: مرحله 1 - کدگذاری شبکه Deep Q Naive Deep Q Learning in Code: Step 1 - Coding the Deep Q Network

• آموزش ساده Deep Q در کد: مرحله 2 - کدگذاری کلاس عامل Naive Deep Q Learning in Code: Step 2 - Coding the Agent Class

• یادگیری عمیق Q ساده در کد: مرحله 3 - کدگذاری حلقه اصلی و یادگیری Naive Deep Q Learning in Code: Step 3 - Coding the Main Loop and Learning

• آموزش ساده Deep Q در کد: مرحله 4 - بررسی عملکرد کد ما Naive Deep Q Learning in Code: Step 4 - Verifying the Functionality of Our Code

• یادگیری عمیق Q ساده در کد: مرحله 5 - تجزیه و تحلیل عملکرد نماینده ما Naive Deep Q Learning in Code: Step 5 - Analyzing Our Agent's Performance

• برخورد با تصاویر صفحه با شبکه های عصبی کانولوشنال Dealing with Screen Images with Convolutional Neural Networks

کنترل سطح انسانی از طریق یادگیری تقویتی عمیق: از کاغذ تا کد Human Level Control Through Deep Reinforcement Learning: From Paper to Code

• نحوه خواندن مقالات یادگیری عمیق How to Read Deep Learning Papers

• تجزیه و تحلیل مقاله Analyzing the Paper

• نحوه اصلاح محیط های ورزشی OpenAI Atari How to Modify the OpenAI Gym Atari Environments

• نحوه پیش پردازش تصاویر صفحه ورزشی OpenAI Gym Atari How to Preprocess the OpenAI Gym Atari Screen Images

• نحوه انباشتن تصاویر از پیش پردازش شده صفحه نمایش آتاری How to Stack the Preprocessed Atari Screen Images

• چگونه همه تغییرات را ترکیب کنیم How to Combine All the Changes

• نحوه اضافه کردن برش پاداش، اول آتش و بدون عملیات How to Add Reward Clipping, Fire First, and No Ops

• نحوه کدگذاری حافظه عامل How to Code the Agent's Memory

• نحوه کدنویسی شبکه Deep Q How to Code the Deep Q Network

• کدگذاری Deep Q Agent: مرحله 1 - کدگذاری سازنده Coding the Deep Q Agent: Step 1 - Coding the Constructor

• کدگذاری Deep Q Agent: مرحله 2 - انتخاب اکشن اپسیلون-گریدی Coding the Deep Q Agent: Step 2 - Epsilon-Greedy Action Selection

• کدگذاری Deep Q Agent: مرحله 3 - حافظه، ذخیره مدل و کپی شبکه Coding the Deep Q Agent: Step 3 - Memory, Model Saving and Network Copying

• کدگذاری Deep Q Agent: مرحله 4 - عملکرد یادگیری عامل Coding the Deep Q Agent: Step 4 - The Agent's Learn Function

• کدگذاری Deep Q Agent: مرحله 5 - حلقه اصلی و تجزیه و تحلیل عملکرد Coding the Deep Q Agent: Step 5 - The Main Loop and Analyzing the Performance

یادگیری تقویتی عمیق با آموزش Double Q Deep Reinforcement Learning with Double Q Learning

• تجزیه و تحلیل مقاله Analyzing the Paper

• کدگذاری عامل یادگیری Double Q و تجزیه و تحلیل عملکرد Coding the Double Q Learning Agent and Analyzing Performance

معماری شبکه دوئل برای یادگیری تقویتی عمیق Dueling Network Architectures for Deep Reinforcement Learning

• تجزیه و تحلیل مقاله Analyzing the Paper

• تجزیه و تحلیل مقاله Analyzing the Paper

• کدگذاری شبکه Dueling Deep Q Coding the Dueling Deep Q Network

• کدنویسی عامل یادگیری Dueling Deep Q و تجزیه و تحلیل عملکرد Coding the Dueling Deep Q Learning Agent and Analyzing Performance

• کدنویسی عامل یادگیری Dueling Double Deep Q و تجزیه و تحلیل عملکرد Coding the Dueling Double Deep Q Learning Agent and Analyzing Performance

بهبود راه حل های ما Improving On Our Solutions

• پیاده سازی یک رابط خط فرمان برای آزمایش مدل سریع Implementing a Command Line Interface for Rapid Model Testing

• ادغام پایه کد ما برای حداکثر توسعه پذیری Consolidating Our Code Base for Maximum Extensability

• چگونه نماینده خود را آزمایش کنیم و بازی را در زمان واقعی تماشا کنیم How to Test Our Agent and Watch it Play the Game in Real Time

نتیجه Conclusion

• خلاصه کردن آنچه یاد گرفته ایم Summarizing What We've Learned

سخنرانی پاداش Bonus Lecture

• ویدئوی جایزه: از اینجا به کجا برویم Bonus Video: Where to Go From Here