آموزش یادگیری تقویتی عمیق آسان شد - آخرین آپدیت

سرفصل ها و درس ها

مقدمه Introduction

• مقدمه ای بر یادگیری تقویتی عمیق Introduction to Deep Reinforcement Learning

• یادگیری تقویتی و اجزای اصلی آن (عامل، محیط، پاداش) Reinforcement Learning and its main components (agent, environment, rewards)

• مقایسه با یادگیری نظارت شده و بدون نظارت Comparison with supervised and unsupervised learning

• مروری بر تاریخچه یادگیری تقویتی Overview of the RL history

• پیشرفت های اخیر در یادگیری تقویتی عمیق Recent advances in Deep Reinforcement Learning

• اهداف یادگیری برای دوره و مقدمه ای بر پایتون Learning objectives for the course and Introduction to Python

• بررسی کارشناسان درباره معرفی دوره Experts' review on Introduction of the course

شبکه عصبی مصنوعی (ANN) Artificial Neural Network (ANN)

• الگوریتم ANN: توضیح غیر فنی ANN algorithm: Nontechnical explanation

• الگوریتم ANN: فرمول های ریاضی ANN algorithm: Mathematical Formulae

• الگوریتم ANN: یک مثال حل شده ANN algorithm: A Worked-Out Example

• بررسی کارشناسان درباره توضیح الگوریتم شبکه عصبی Experts' review on Neural Network Algorithm Explanation

تبدیل ANN به شبکه عصبی عمیق (DNN) ANN to Deep Neural Network (DNN)

• شبکه عصبی عمیق Deep Neural Network

• چارچوب های یادگیری عمیق Deep learning frameworks

• مقدمه ای بر TensorFlow و Keras Introduction to TensorFlow and Keras

• اصطلاحات کلیدی در TensorFlow Key terms in TensorFlow

• KERAS KERAS

• مفهوم گرادیان کاهشی The concept of gradient descent

• نرخ یادگیری Learning rate

• بررسی کارشناسان درباره گرادیان کاهشی و شبکه های عصبی Experts' review on Gradient Descent and Neural Networks

هایپرپارامترهای یادگیری عمیق و تنظیم (Regularization) Deep Learning Hyperparameters Regularization

• هایپرپارامترها در یادگیری ماشین Hyper parameters in Machine Learning

• تنظیم L1 و L2 در رگرسیون L1 and L2 Regularization in Regression

• تنظیم در شبکه های عصبی Regularization in Neural networks

• تنظیم در رگرسیون Regularization in Regression

• استانداردسازی داده ها در تنظیم L1 و L2 Data standardization in L1 and L2 regularization

• تنظیم Dropout Dropout Regularization

• روش توقف زودهنگام برای شبکه های عصبی Early stopping method for neural networks

• ذخیره مدل Saving the Model

• بررسی کارشناسان درباره ذخیره مدل های Keras در پایتون Experts' review on Saving Keras Models in Python

هایپرپارامترهای یادگیری عمیق، توابع فعال سازی و بهینه سازی ها Deep Learning Hyper parameters, Activation Functions and Optimizations

• توابع زیان (Loss Functions) Loss Functions

• توابع فعال سازی (Activation Functions) Activation Functions

• تابع فعال سازی: Sigmoid Activation Function: Sigmoid

• تابع فعال سازی: Tanh Activation Function: Tanh

• تابع فعال سازی: ReLU Activation Function: ReLU

• تابع فعال سازی: SoftMax Activation Function: SoftMax

• بهینه سازها: SGD، Mini-batch descent Optimizers: SGD, Mini-batch descent

• بررسی کارشناسان درباره گرادیان کاهشی تصادفی و بهینه سازی Mini-Batch Experts' review on Stochastic Gradient Descent and Mini-Batch Optimization

شبکه عصبی کانولوشنال (CNN) Convolutional Neural Network (CNN)

• مقدمه ای بر CNN Introduction to CNN

• شبکه عصبی مصنوعی در مقابل شبکه عصبی کانولوشنال (ANN در مقابل CNN) Artificial Neural network vs Convolutional Neural Network (ANN vs CNN)

• فیلترها یا هسته ها Filters or kernels

• بررسی کارشناسان درباره شبکه های عصبی کانولوشنال Experts' review on Convolutional Neural Networks

شبکه عصبی بازگشتی (RNN) Recurrent Neural Network (RNN)

• داده های مقطعی در مقابل داده های ترتیبی Cross-sectional data vs sequential data

• مدل ها برای داده های ترتیبی: ANN، CNN و ANN ترتیبی Models for sequential data: ANN, CNN and Sequential ANN

• مطالعه موردی پیش بینی کلمه Case study of word prediction

• مقدمه ای بر RNN Introduction to RNN

• کد پایتون: آموزش مدل CNN و RNN Python Code: Model Training of CNN and RNN

• بررسی کارشناسان درباره یادگیری عمیق با TensorFlow و Keras Experts' review on Deep Learning with TensorFlow and Keras

یادگیری تقویتی: مروری بر فرآیندهای تصمیم مارکوف (MDPs) Reinforcement Learning: Overview of Markov Decision Processes

• مروری بر یادگیری تقویتی Review of Reinforcement Learning

• مقدمه ای بر تقریب تابع ارزش Introduction to Value Function Approximation

• کد پایتون: تقریب تابع ارزش با استفاده از CartPole Python Code: Value Function Approximation using CartPole

• تقریب تابع خطی Linear function approximation

• کد پایتون: تقریب تابع خطی با استفاده از CartPole Python Code: Linear Function Approximation using CartPole

• تقریب تابع غیرخطی با شبکه های عصبی عمیق Non-linear function approximation with deep neural networks

• کد پایتون: تقریب تابع غیرخطی با شبکه های عصبی Python Code: Non-Linear Function Approximation with Neural Networks

• کاربردها و محدودیت های تقریب تابع ارزش Applications and limitations of Value Function Approximation

• تعریف فرآیندهای تصمیم مارکوف (MDPs) Definition of Markov Decision Processes (MDPs)

• کد پایتون: MDP ها و معادلات بل من و توابع ارزش Python Code: MDPs and Bellman Equations and Value Functions

• اجزای کلیدی یک MDP Key components of an MDP

• معادلات بل من و توابع ارزش Bellman Equations and Value Functions

• الگوریتم های تکرار سیاست (policy iteration) و تکرار ارزش (value iteration) Policy iteration and value iteration algorithms

• کد پایتون: الگوریتم های تکرار سیاست و تکرار ارزش Python Code: Policy iteration and value iteration algorithms

• بررسی کارشناسان درباره فرآیندهای تصمیم مارکوف و کاربردهای آن Experts' review on Markov Decision Processes and Applications

معادلات بل من و توابع ارزش Bellman Equations and Value Functions

• کد پایتون: مقدمه ای بر مستندات کتابخانه Gym پایتون Python Code: Introduction to Python Gym Library Documentation

• مروری بر معادلات بل من Review of Bellman Equations

• تعریف توابع ارزش (ارزش حالت، ارزش عمل) Definition of value functions (state value, action value)

• محاسبه توابع ارزش با استفاده از معادلات بل من Calculation of value functions using Bellman Equations

• تفسیر شهودی توابع ارزش Intuitive interpretation of value functions

• فرآیندهای مارکوف Markov Processes

• فرآیندهای پاداش مارکوف Markov Reward Processes

• فرآیندهای تصمیم مارکوف Markov Decision Processes

• گسترش MDP ها Extensions to MDPs

• بررسی کارشناسان درباره معادلات بل من و توابع ارزش Experts' review on Bellman Equations and Value Functions

یادگیری تقویتی عمیق با Q-Learning Deep Reinforcement Learning with Q-Learning

• تعریف Q-Learning Definition of Q-Learning

• محاسبه مقادیر Q با استفاده از Q-Learning Calculation of Q-Values using Q-Learning

• کد پایتون: Q-Learning و کتابخانه Gym پایتون Python Code: Q-Learning and Python Gym library

• مقایسه Q-Learning با الگوریتم های تکرار سیاست و تکرار ارزش Comparison of Q-Learning with policy iteration and value iteration algorithms

• مزایا و معایب Q-Learning Advantages and disadvantages of Q-Learning

• مروری بر الگوریتم Deep Q-Network (DQN) Overview of Deep Q-Network (DQN) algorithm

• معماری یک مدل DQN Architecture of a DQN model

• پیاده سازی DQN در TensorFlow Implementation of DQN in TensorFlow

• کد پایتون: پیاده سازی DQN Python Code: Implementation of DQN

• کاربردها و محدودیت های DQN Applications and limitations of DQN

• بررسی کارشناسان درباره Q-Learning در Frozen Lake Experts' review on Q-Learning in Frozen Lake

پیش بینی بدون مدل (Model-Free Prediction) Model-Free Prediction

• تعریف پیش بینی بدون مدل Definition of Model-Free Prediction

• محاسبه مقادیر حالت با استفاده از روش های پیش بینی بدون مدل Calculation of state values using Model-Free Prediction methods

• مونت کارلو Monte Carlo

• کد پایتون: الگوریتم مونت کارلو Python Code: Monte Carlo Algorithm

• یادگیری TD TD Learning

• کد پایتون: الگوریتم یادگیری تفاوت زمانی (TD) Python Code: Temporal Difference (TD) Learning Algorithm

• کد پایتون: الگوریتم SARSA Python Code: SARSA Algorithm

• بحث درباره محدودیت های پیش بینی بدون مدل Discussion of the limitations of Model-Free Prediction

• کد پایتون: الگوریتم Expected SARSA Python Code: Expected SARSA Algorithm

• کد پایتون: الگوریتم n-Steps SARSA Python Code: n-Steps SARSA Algorithm

• بررسی کارشناسان درباره یادگیری تفاوت زمانی و علوم اعصاب Experts' review on Temporal Difference Learning and Neuroscience

یادگیری تقویتی عمیق با گرادیان سیاست (Policy Gradients) Deep Reinforcement Learning with Policy Gradients

• مروری بر روش های گرادیان سیاست Overview of Policy Gradient methods

• بهینه سازی سیاست با استفاده از صعود گرادیان Policy optimization using gradient ascent

• الگوریتم های Actor-Critic Actor-critic algorithms

• کد پایتون: الگوریتم Actor-Critic Python code: Actor-critic algorithm

• پیاده سازی روش های گرادیان سیاست در TensorFlow Implementation of policy gradient methods in TensorFlow

• کد پایتون: یادگیری تقویتی عمیق با گرادیان سیاست Python code: Deep Reinforcement Learning with Policy Gradients

• بررسی کارشناسان درباره یادگیری تقویتی عمیق با گرادیان سیاست Experts' review on Deep Reinforcement Learning with Policy Gradients

مقدمه ای بر جعبه ابزار یادگیری تقویتی MATLAB Intoduction to MATLAB Reinforcement Learning Toolbox

• کد MATLAB: مقدمه ای بر MATLAB Reinforcement Learning Designer MATLAB code: Introduction to MATLAB Reinforcement Learning Designer

• کد MATLAB: مقدمه ای بر MATLAB RL Designer و کد نویسی MATLAB code: Introduction to MATLAB RL Designer and Coding

• بررسی کارشناسان درباره آموزش یک عامل Deep Q-Network در MATLAB Experts' review on Training a Deep Q-Network Agent in MATLAB

اکتشاف و بهره برداری در یادگیری تقویتی Exploration and Exploitation in Reinforcement Learning

• معاوضه اکتشاف در مقابل بهره برداری Exploration vs. exploitation tradeoff

• استراتژی های مختلف برای اکتشاف Different strategies for exploration

• کد پایتون: اکتشاف در مقابل بهره برداری با استفاده از استراتژی اپسیلون-حریصانه Python code: Exploration vs. Exploitation using the epsilon-greedy strategy

• اکتشاف در یادگیری تقویتی مبتنی بر مدل و بدون مدل Exploration in model-based and model-free reinforcement learning

• پیاده سازی روش های گرادیان سیاست در TensorFlow Implementation of Policy Gradient Methods in TensorFlow

• کد پایتون: الگوریتم عامل بهینه سازی سیاست پراکیمال (PPO) Python code: Proximal Policy Optimization PPO agent's Algorithm

• کد پایتون: الگوریتم PPO Python Code: PPO Algorithm

• کد پایتون: PPO با استفاده از کتابخانه های stable_baselines3 و Gym Python Code: PPO using stable_baselines3 and Gym libraries

• کد پایتون: PPO با استفاده از کتابخانه های stable_baselines3 و gymnasium Python Code: PPO using stable_baselines3 and gymnasium libraries

• بررسی کارشناسان درباره الگوریتم PPO توضیح داده شده Experts' review on PPO Algorithm Explained

انواع عامل های یادگیری تقویتی Reinforcement Learning Agents’ Types

• انواع عامل های یادگیری تقویتی Reinforcement Learning Agents’ Types

• گرادیان سیاست قطعی عمیق (DDPG) Deep Deterministic Policy Gradient (DDPG)

• کد پایتون: الگوریتم عامل گرادیان سیاست قطعی عمیق (DDPG) Python code: Deep Deterministic Policy Gradient (DDPG) agent's Algorithm

• TD3 تاخیر دار دوقلو (TD3) Twin Delayed DDPG (TD3)

• بهینه سازی سیاست مبتنی بر مدل (MBPO) Model-Based Policy Optimization (MBPO)

• کد پایتون: الگوریتم عامل بهینه سازی سیاست مبتنی بر مدل (MBPO) Python code: Model-Based Policy Optimization (MBPO) agent's Algorithm

• Actor-Critic مزیت (A2C) Advantage Actor-Critic (A2C)

• کد پایتون: الگوریتم عامل Actor-Critic مزیت (A2C) Python code: Advantage Actor-Critic (A2C) agent's Algorithm

• Asynchronous Actor-Critic مزیت (A3C) Asynchronous Advantage Actor-Critic (A3C)

• بهینه سازی سیاست منطقه اعتماد (TRPO) Trust Region Policy Optimization (TRPO)

• Soft Actor-Critic (SAC) Soft Actor-Critic (SAC)

• یادگیری تقویتی چند عاملی Multi-Agent Reinforcement Learning

• کد پایتون: بازی جمع آوری میوه با استفاده از یادگیری تقویتی چند عاملی مشارکتی Python code: The Fruit Gathering Game using Cooperative Multi-agent Reinforcemen

• کد پایتون: ایجاد محیط سفارشی با عامل PPO Python code: Creating Custom Environment with PPO agent

• بررسی کارشناسان درباره الگوریتم TD3 - یک بررسی عمیق Experts' review on TD3 Algorithm - A Deep Dive