یادگیری تقویتی و پایتون عمیق RL (تئوری و پروژه ها) [ویدئو]

سرفصل ها و درس ها

مقدمه دوره Introduction to the Course

• معرفی مربی Introduction to Instructor

• معرفی دوره Course Introduction

انگیزه و کاربردها Motivation and Applications

• یادگیری تقویتی چیست؟ What Is Reinforcement Learning

• Reinforcement Learning Hiders and Seekers توسط OpenAI چیست؟ What Is Reinforcement Learning Hiders and Seekers by OpenAI

• RL در مقابل سایر چارچوب های ML RL Versus Other ML Frameworks

• چرا RL Why RL

• نمونه هایی از RL Examples of RL

• محدودیت های RL Limitations of RL

• تمرینات Exercises

اصطلاحات RL Terminologies of RL

• معرفی Introduction

• محیط Environment

• عامل Agent

• عمل Action

• حالت State

• هدف و وضعیت انجام شده Goal and Done State

• جایزه Reward

• فعالیت سرگرم کننده Fun Activity

• سیاست و برنامه Policy and Plan

• قسمت Episode

راه حل تصادفی ساده لوحانه Naive Random Solution

• مقدمه ای بر ماژول Introduction to Module

• مقدمه ای بر بازی Introduction to Game

• قوانین بازی Rules of Game

• راه اندازی بازی در پایتون - 1 Setting Up Game in Python - 1

• راه اندازی بازی در پایتون - 2 Setting Up Game in Python - 2

• راه اندازی بازی در پایتون - 3 Setting Up Game in Python - 3

• انجام بازی به صورت دستی Playing the Game Manually

• پیاده سازی راه حل تصادفی Implementing Random Solution

• Q-Learning و Q-Table Theory Q-Learning and Q-Table Theory

• پیاده سازی Q-Learning - 1 Implementing Q-Learning - 1

• اجرای خشک از Get State Dry Run of Get State

• پیاده سازی Q Learning - 2 Implementing Q Learning - 2

• پیاده سازی Q Learning - 3 Implementing Q Learning - 3

• نتیجه Conclusion

یادگیری Q مبتنی بر RL RL-Based Q-Learning

• معرفی باشگاه بدنسازی Introduction to Gym

• قوانین دریاچه یخ زده Frozen Lake Rules

• اجرای دریاچه یخ زده - 1 Implementing Frozen Lake - 1

• اجرای دریاچه یخ زده - 2 Implementing Frozen Lake - 2

• اجرای دریاچه یخ زده - 3 Implementing Frozen Lake - 3

• اجرای دریاچه یخ زده - 4 Implementing Frozen Lake - 4

• عامل بازی را انجام می دهد Agent Plays the Game

• نتیجه Conclusion

فراپارامترها و مفاهیم Hyper Parameters and Concepts

• مقدمه ای بر ماژول Introduction to Module

• اپسیلون Epsilon

• به روز رسانی ارزش اپسیلون Updating Epsilon Value

• گاما و ضریب تخفیف Gamma and Discount Factor

• میزان یادگیری آلفا Alpha Learning Rate

• معادله Q-Learning Q-Learning Equation

• مسابقه (تعداد قسمت) Quiz (Number of Episodes)

• راه حل (تعداد قسمت ها) Solution (Number of Episodes)

• مسابقه (آلفا) Quiz (Alpha)

• راه حل (آلفا) Solution (Alpha)

SARSA (State–Action–Reward–State–Action) SARSA (State–Action–Reward–State–Action)

• مقدمه ای بر SARSA Introduction to SARSA

• سیاست خاموش در مقابل سیاست روشن Off Policy Versus On Policy

• پیاده سازی SARSA SARSA Implementation

• به روز رسانی پیاده سازی SARSA SARSA Implementation update

• مزایا و معایب Pros and Cons

بنیاد DNN برای Deep RL DNN Foundation for Deep RL

• چرا یادگیری عمیق Why Deep Learning

• چرا PyTorch Why PyTorch

• مقدمه نصب PyTorch و تنسورها PyTorch Installation and Tensors Introduction

• تمایز خودکار PyTorch Automatic Differentiation PyTorch

• چرا DNN ها در یادگیری ماشینی Why DNNs in Machine Learning

• قدرت نمایندگی و ظرفیت استفاده از داده DNN Representational Power and Data Utilization Capacity of DNN

• پرسپترون Perceptron

• تمرین پرسپترون Perceptron Exercise

• محلول تمرین پرسپترون Perceptron Exercise Solution

• پیاده سازی پرسپترون Perceptron Implementation

• معماری DNN DNN Architecture

• تمرین معماری DNN DNN Architecture Exercise

• راه حل تمرین معماری DNN DNN Architecture Exercise Solution

• پیاده سازی DNN ForwardStep DNN ForwardStep Implementation

• DNN چرا عملکرد فعال سازی مورد نیاز است DNN Why Activation Function Is Required

• DNN چرا عملکرد فعالسازی مورد نیاز است تمرین کنید DNN Why Activation Function Is Required Exercise

• DNN چرا عملکرد فعالسازی مورد نیاز است راه حل تمرین DNN Why Activation Function Is Required Exercise Solution

• MDP (فرایند تصمیم گیری مارکوف) MDP (Markov Decision Process)

• ویژگی های عملکرد فعال سازی DNN DNN Properties of Activation Function

• توابع فعال سازی DNN در PyTorch DNN Activation Functions in PyTorch

• DNN عملکرد ضرر چیست DNN What Is Loss Function

• DNN تمرین عملکرد ضرر چیست DNN What Is Loss Function Exercise

• راه حل تمرین عملکرد DNN چیست DNN What Is Loss Function Exercise Solution

• DNN تمرین عملکرد ضرر چیست - 2 DNN What Is Loss Function Exercise - 2

• راه حل تمرین عملکرد DNN چیست - 2 DNN What Is Loss Function Exercise Solution - 2

• عملکرد از دست دادن DNN در PyTorch DNN Loss Function in PyTorch

• DNN Gradient Descent DNN Gradient Descent

• تمرین نزول گرادیان DNN DNN Gradient Descent Exercise

• راه حل تمرین نزول گرادیان DNN DNN Gradient Descent Exercise Solution

• اجرای DNN Gradient Descent DNN Gradient Descent Implementation

• مینی بچ دسته ای تصادفی شیب دار DNN DNN Gradient Descent Stochastic Batch Minibatch

• خلاصه DNN Gradient Descent DNN Gradient Descent Summary

• مرحله گرادیان پیاده سازی DNN DNN Implementation Gradient Step

• پیاده‌سازی DNN نزولی گرادیان تصادفی DNN Implementation Stochastic Gradient Descent

• نزول گرادیان دسته ای پیاده سازی DNN DNN Implementation Batch Gradient Descent

• اجرای DNN مینی بچ گرادیان نزول DNN Implementation Minibatch Gradient Descent

• پیاده سازی DNN در PyTorch DNN Implementation in PyTorch

• مقدار دهی اولیه وزن DNN DNN Weights Initializations

• نرخ یادگیری DNN DNN Learning Rate

• عادی سازی دسته ای DNN DNN Batch Normalization

• اجرای عادی سازی دسته ای DNN DNN Batch Normalization Implementation

• بهینه سازی DNN DNN Optimizations

• خروج DNN DNN Dropout

• DNN Dropout در PyTorch DNN Dropout in PyTorch

• توقف زودهنگام DNN DNN Early Stopping

• فراپارامترهای DNN DNN Hyperparameters

• مثال DNN PyTorch CIFAR10 DNN PyTorch CIFAR10 Example

Deep RL DQN Deep RL DQN

• مقدمه و خلاصه Introduction and Recap

• مراحل الگوریتم DQN DQN Algorithm Steps

• مقدمه ای بر پروژه (قطب سبد خرید) Introduction to Project (Cart pole)

• شبکه سیاست توضیح داده شد Policy Network Explained

• پیاده سازی کلاس شبکه عصبی Neural Network Class Implementation

• بازپخش حافظه و تجربه Replay Memory and Experience

• پیاده سازی را تجربه کنید Experience Implementation

• اجرای حافظه Replay Replay Memory Implementation

• شبکه هدف و جمع بندی Target Network and Recap

• استراتژی اپسیلون گریدی اجرا شد Epsilon Greedy Strategy Implemented

• کلاس عامل اجرا شد Agent Class Implemented

• اجرای مدیر محیط زیست Environment Manager Implementation

• چگونه دولت را بدست آوریم How to Get State

• پیش پردازش صفحه نمایش Screen Pre-Processing

• برش صفحه نمایش Screen Cropping

• دگرگونی صفحه نمایش Screen Transformation

• صفحه نمایش پردازش شده در مقابل صفحه غیر پردازش شده Processed Versus Non-Processed Screen

• Moving Avg پیاده سازی شد Moving Avg Implemented

• ترسیم میانگین متحرک Plotting the Moving Avg

• Hyperparameter Initialization Hyperparameter Initialization

• راه اندازی کلاس ها Initializing the Classes

• اجرای ساختار نهایی - 1 Final Structure Implementation - 1

• استخراج تانسورها Extracting Tensors

• اجرای ساختار نهایی - 2 Final Structure Implementation - 2

• ماشین حساب Q-Values ​​پیاده سازی شده است Q-Values Calculator Implemented

• حذف خطاها اجرای ساختار نهایی - 3 Removing Errors Final Structure Implementation - 3

• تجسم آموزش Visualizing the Training

راه حل Cartpole خطوط پایه پایدار Stable Baselines Cartpole Solution

• مقدمه ای بر پایه پایدار Introduction to Stable Baseline

• بارگذاری و درک محیط Loading and Understanding the Environment

• مدل قطار RL Train RL Model

• ارزیابی و آزمون Evaluation and Testing

• پاسخ به تماس و توقف زودهنگام Callbacks and Early Stopping

• تغییر معماری خط مشی Changing Policy Architecture

• تغییر الگوریتم Changing the Algorithm

• نکاتی برای بهبود دقت Tips for Accuracy Improvement

Trading Bot RL Trading Bot RL

• مقدمه ای بر کتابخانه ها و پروژه Introduction to Libraries and Project

• در حال بارگیری داده ها Loading the Data

• راه اندازی محیط Setting Up Environment

• اقدامات تصادفی Random Actions

• مدل آموزش و ارزشیابی Training and Evaluating Model

بازی اتومبیل رانی Car Racing Game

• مقدمه ای بر بازی Introduction to Game

• واردات وابستگی ها Importing the Dependencies

• کاوش در محیط زیست Exploring the Environment

• آموزش و تست مدل Training and Testing the Model

آمادگی مصاحبه Interview Prep

• آمادگی 1 Prep 1

• آمادگی 2 Prep 2