آموزش Reinforcement Learning مبتدی تا مسلط - هوش مصنوعی در پایتون

سرفصل ها و درس ها

ماژول خوش آمدید Welcome module

• [مهم] زیرنویس‌های انگلیسی برای بخش‌های 1-4 موجود است [IMPORTANT] English captions available for sections 1-4

• ساختار دوره Course structure

ماژول خوش آمدید Welcome module

• [مهم] زیرنویس‌های انگلیسی برای بخش‌های 1-4 موجود است [IMPORTANT] English captions available for sections 1-4

• خوش آمدی Welcome

• خوش آمدی Welcome

• سری آموزشی تقویتی Reinforcement Learning series

• سری آموزشی تقویتی Reinforcement Learning series

• ساختار دوره Course structure

• تنظیم محیط [مهم] Environment setup [Important]

• تنظیم محیط [مهم] Environment setup [Important]

• برپایی Setup

• برپایی Setup

• کد کامل Complete code

• کد کامل Complete code

فرآیند تصمیم گیری مارکوف (MDP) The Markov decision process (MDP)

• عناصر مشترک برای همه وظایف کنترلی Elements common to all control tasks

• انواع فرآیند تصمیم گیری مارکوف Types of Markov decision process

• پاداش در مقابل بازگشت Reward vs Return

• عامل تخفیف Discount factor

فرآیند تصمیم گیری مارکوف (MDP) The Markov decision process (MDP)

• عناصر مشترک برای همه وظایف کنترلی Elements common to all control tasks

• فرآیند تصمیم گیری مارکوف (MDP) The Markov decision process (MDP)

• فرآیند تصمیم گیری مارکوف (MDP) The Markov decision process (MDP)

• انواع فرآیند تصمیم گیری مارکوف Types of Markov decision process

• مسیر در مقابل قسمت Trajectory vs episode

• مسیر در مقابل قسمت Trajectory vs episode

• پاداش در مقابل بازگشت Reward vs Return

• عامل تخفیف Discount factor

• خط مشی Policy

• خط مشی Policy

• مقادیر v(s) و مقادیر عمل q(s,a) را بیان کنید State values v(s) and action values q(s,a)

• مقادیر v(s) و مقادیر عمل q(s,a) را بیان کنید State values v(s) and action values q(s,a)

• معادلات بلمن Bellman equations

• معادلات بلمن Bellman equations

• حل فرآیند تصمیم گیری مارکوف Solving a Markov decision process

• حل فرآیند تصمیم گیری مارکوف Solving a Markov decision process

• راه اندازی - MDP در کد Setup - MDP in code

• راه اندازی - MDP در کد Setup - MDP in code

• MDP در کد - قسمت 1 MDP in code - Part 1

• MDP در کد - قسمت 1 MDP in code - Part 1

• MDP در کد - قسمت 2 MDP in code - Part 2

• MDP در کد - قسمت 2 MDP in code - Part 2

برنامه نویسی پویا Dynamic Programming

• مقدمه ای بر برنامه نویسی پویا Introduction to Dynamic Programming

• تکرار ارزش Value iteration

• کدگذاری - تکرار مقدار 1 Coding - Value iteration 1

• کدگذاری - تکرار مقدار 2 Coding - Value iteration 2

• کدگذاری - تکرار مقدار 3 Coding - Value iteration 3

• کدگذاری - تکرار خط مشی 1 Coding - Policy iteration 1

• کدگذاری - تکرار خط مشی 2 Coding - Policy iteration 2

• بهبود سیاست Policy Improvement

• کدگذاری - تکرار خط مشی 3 Coding - Policy iteration 3

برنامه نویسی پویا Dynamic Programming

• مقدمه ای بر برنامه نویسی پویا Introduction to Dynamic Programming

• تکرار ارزش Value iteration

• راه اندازی - تکرار ارزش Setup - Value iteration

• راه اندازی - تکرار ارزش Setup - Value iteration

• کدگذاری - تکرار مقدار 1 Coding - Value iteration 1

• کدگذاری - تکرار مقدار 2 Coding - Value iteration 2

• کدگذاری - تکرار مقدار 3 Coding - Value iteration 3

• کدگذاری - تکرار مقدار 4 Coding - Value iteration 4

• کدگذاری - تکرار مقدار 4 Coding - Value iteration 4

• کدگذاری - تکرار مقدار 5 Coding - Value iteration 5

• کدگذاری - تکرار مقدار 5 Coding - Value iteration 5

• تکرار سیاست Policy iteration

• تکرار سیاست Policy iteration

• راه اندازی - تکرار خط مشی Setup - Policy iteration

• راه اندازی - تکرار خط مشی Setup - Policy iteration

• کدگذاری - تکرار خط مشی 1 Coding - Policy iteration 1

• ارزیابی سیاست Policy evaluation

• ارزیابی سیاست Policy evaluation

• کدگذاری - تکرار خط مشی 2 Coding - Policy iteration 2

• بهبود سیاست Policy Improvement

• کدگذاری - تکرار خط مشی 3 Coding - Policy iteration 3

• کدگذاری - تکرار خط مشی 4 Coding - Policy iteration 4

• کدگذاری - تکرار خط مشی 4 Coding - Policy iteration 4

• تکرار سیاست در عمل Policy iteration in practice

• تکرار سیاست در عمل Policy iteration in practice

• تکرار خط مشی عمومی (GPI) Generalized Policy Iteration (GPI)

• تکرار خط مشی عمومی (GPI) Generalized Policy Iteration (GPI)

روش های مونت کارلو Monte Carlo methods

• روش های مونت کارلو Monte Carlo methods

• حل وظایف کنترلی با روش های مونت کارلو Solving control tasks with Monte Carlo methods

• کنترل مونت کارلو بر اساس سیاست On-policy Monte Carlo control

• کدگذاری - کنترل مونت کارلو روی خط مشی 1 Coding - On-policy Monte Carlo control 1

• کدگذاری - کنترل مونت کارلو روی خط مشی 2 Coding - On-policy Monte Carlo control 2

• کدگذاری - کنترل مونت کارلو روی خط مشی 3 Coding - On-policy Monte Carlo control 3

• راه اندازی - آلفای ثابت مونت کارلو Setup - Constant alpha Monte Carlo

• کنترل مونت کارلو خارج از خط مشی Off-policy Monte Carlo control

• کدگذاری - خارج از خط مشی مونت کارلو 1 Coding - Off-policy Monte Carlo 1

روش های مونت کارلو Monte Carlo methods

• روش های مونت کارلو Monte Carlo methods

• حل وظایف کنترلی با روش های مونت کارلو Solving control tasks with Monte Carlo methods

• کنترل مونت کارلو بر اساس سیاست On-policy Monte Carlo control

• راه اندازی - کنترل مونت کارلو بر اساس سیاست Setup - On-policy Monte Carlo control

• راه اندازی - کنترل مونت کارلو بر اساس سیاست Setup - On-policy Monte Carlo control

• کدگذاری - کنترل مونت کارلو روی خط مشی 1 Coding - On-policy Monte Carlo control 1

• کدگذاری - کنترل مونت کارلو روی خط مشی 2 Coding - On-policy Monte Carlo control 2

• کدگذاری - کنترل مونت کارلو روی خط مشی 3 Coding - On-policy Monte Carlo control 3

• راه اندازی - آلفای ثابت مونت کارلو Setup - Constant alpha Monte Carlo

• کدگذاری - آلفای ثابت مونت کارلو Coding - Constant alpha Monte Carlo

• کدگذاری - آلفای ثابت مونت کارلو Coding - Constant alpha Monte Carlo

• کنترل مونت کارلو خارج از خط مشی Off-policy Monte Carlo control

• راه اندازی - کنترل مونت کارلو خارج از خط مشی Setup - Off-policy Monte Carlo control

• راه اندازی - کنترل مونت کارلو خارج از خط مشی Setup - Off-policy Monte Carlo control

• کدگذاری - خارج از خط مشی مونت کارلو 1 Coding - Off-policy Monte Carlo 1

• کدگذاری - خارج از خط مشی مونت کارلو 2 Coding - Off-policy Monte Carlo 2

• کدگذاری - خارج از خط مشی مونت کارلو 2 Coding - Off-policy Monte Carlo 2

• کدگذاری - خارج از خط مشی مونت کارلو 3 Coding - Off-policy Monte Carlo 3

• کدگذاری - خارج از خط مشی مونت کارلو 3 Coding - Off-policy Monte Carlo 3

روش های تفاوت زمانی Temporal difference methods

• روش های تفاوت زمانی Temporal difference methods

• روش های مونت کارلو در مقابل تفاوت زمانی Monte Carlo vs temporal difference methods

• سارسا SARSA

• کدگذاری - SARSA 1 Coding - SARSA 1

• کدگذاری - SARSA 2 Coding - SARSA 2

• Q-Learning Q-Learning

• راه اندازی - Q-Learning Setup - Q-Learning

• کدگذاری - Q-Learning 1 Coding - Q-Learning 1

روش های تفاوت زمانی Temporal difference methods

• روش های تفاوت زمانی Temporal difference methods

• حل وظایف کنترلی با روش های اختلاف زمانی Solving control tasks with temporal difference methods

• حل وظایف کنترلی با روش های اختلاف زمانی Solving control tasks with temporal difference methods

• روش های مونت کارلو در مقابل تفاوت زمانی Monte Carlo vs temporal difference methods

• سارسا SARSA

• راه اندازی - SARSA Setup - SARSA

• راه اندازی - SARSA Setup - SARSA

• کدگذاری - SARSA 1 Coding - SARSA 1

• کدگذاری - SARSA 2 Coding - SARSA 2

• Q-Learning Q-Learning

• راه اندازی - Q-Learning Setup - Q-Learning

• کدگذاری - Q-Learning 1 Coding - Q-Learning 1

• کدگذاری - Q-Learning 2 Coding - Q-Learning 2

• کدگذاری - Q-Learning 2 Coding - Q-Learning 2

• مزایای روش های تفاوت زمانی Advantages of temporal difference methods

• مزایای روش های تفاوت زمانی Advantages of temporal difference methods

بوت استرپ N-step N-step bootstrapping

• اثر تغییر n Effect of changing n

• SARSA مرحله N N-step SARSA

• راه اندازی - n مرحله SARSA Setup - n-step SARSA

بوت استرپ N-step N-step bootstrapping

• روش‌های تفاوت زمانی N مرحله‌ای N-step temporal difference methods

• روش‌های تفاوت زمانی N مرحله‌ای N-step temporal difference methods

• روش های n-step کجا مناسب هستند؟ Where do n-step methods fit?

• روش های n-step کجا مناسب هستند؟ Where do n-step methods fit?

• اثر تغییر n Effect of changing n

• SARSA مرحله N N-step SARSA

• SARSA مرحله N در عمل N-step SARSA in action

• SARSA مرحله N در عمل N-step SARSA in action

• راه اندازی - n مرحله SARSA Setup - n-step SARSA

• کدگذاری - n مرحله SARSA Coding - n-step SARSA

• کدگذاری - n مرحله SARSA Coding - n-step SARSA

فضاهای حالت پیوسته Continuous state spaces

• راه اندازی - وظایف کنترل کلاسیک Setup - Classic control tasks

• تجمیع دولت State aggregation

• راه اندازی - فضاهای حالت پیوسته Setup - Continuous state spaces

• کدگذاری - تجمیع حالت 1 Coding - State aggregation 1

• کدگذاری - تجمیع حالت 3 Coding - State aggregation 3

• کدگذاری - کدگذاری کاشی 2 Coding - Tile coding 2

• کدگذاری - کدگذاری کاشی 3 Coding - Tile coding 3

فضاهای حالت پیوسته Continuous state spaces

• راه اندازی - وظایف کنترل کلاسیک Setup - Classic control tasks

• کدنویسی - وظایف کنترل کلاسیک Coding - Classic control tasks

• کدنویسی - وظایف کنترل کلاسیک Coding - Classic control tasks

• کار با فضاهای حالت پیوسته Working with continuous state spaces

• کار با فضاهای حالت پیوسته Working with continuous state spaces

• تجمیع دولت State aggregation

• راه اندازی - فضاهای حالت پیوسته Setup - Continuous state spaces

• کدگذاری - تجمیع حالت 1 Coding - State aggregation 1

• کدگذاری - تجمیع حالت 2 Coding - State aggregation 2

• کدگذاری - تجمیع حالت 2 Coding - State aggregation 2

• کدگذاری - تجمیع حالت 3 Coding - State aggregation 3

• کدگذاری کاشی Tile coding

• کدگذاری کاشی Tile coding

• کدگذاری - کدگذاری کاشی 1 Coding - Tile coding 1

• کدگذاری - کدگذاری کاشی 1 Coding - Tile coding 1

• کدگذاری - کدگذاری کاشی 2 Coding - Tile coding 2

• کدگذاری - کدگذاری کاشی 3 Coding - Tile coding 3

معرفی مختصر شبکه های عصبی Brief introduction to neural networks

• تقریبگرهای توابع Function approximators

• شبکه های عصبی مصنوعی Artificial Neural Networks

• نحوه نمایش یک شبکه عصبی How to represent a Neural Network

• نزول گرادیان تصادفی Stochastic Gradient Descent

• بهینه سازی شبکه عصبی Neural Network optimization

معرفی مختصر شبکه های عصبی Brief introduction to neural networks

• تقریبگرهای توابع Function approximators

• شبکه های عصبی مصنوعی Artificial Neural Networks

• نورون های مصنوعی Artificial Neurons

• نورون های مصنوعی Artificial Neurons

• نحوه نمایش یک شبکه عصبی How to represent a Neural Network

• نزول گرادیان تصادفی Stochastic Gradient Descent

• بهینه سازی شبکه عصبی Neural Network optimization

سارسا عمیق Deep SARSA

• بهینه سازی شبکه عصبی (شبکه کیو عمیق) Neural Network optimization (Deep Q-Network)

• تکرار را تجربه کنید Experience Replay

• راه اندازی - Deep SARSA Setup - Deep SARSA

• کدگذاری - Deep SARSA 1 Coding - Deep SARSA 1

• کدگذاری - Deep SARSA 2 Coding - Deep SARSA 2

• کدگذاری - Deep SARSA 4 (ضمیمه) Coding - Deep SARSA 4 (Addendum)

• کدگذاری - Deep SARSA 5 Coding - Deep SARSA 5

• کدگذاری - Deep SARSA 7 Coding - Deep SARSA 7

• کدگذاری - Deep SARSA 8 Coding - Deep SARSA 8

سارسا عمیق Deep SARSA

• سارسا عمیق Deep SARSA

• سارسا عمیق Deep SARSA

• بهینه سازی شبکه عصبی (شبکه کیو عمیق) Neural Network optimization (Deep Q-Network)

• تکرار را تجربه کنید Experience Replay

• شبکه هدف Target Network

• شبکه هدف Target Network

• راه اندازی - Deep SARSA Setup - Deep SARSA

• کدگذاری - Deep SARSA 1 Coding - Deep SARSA 1

• کدگذاری - Deep SARSA 2 Coding - Deep SARSA 2

• کدگذاری - Deep SARSA 3 Coding - Deep SARSA 3

• کدگذاری - Deep SARSA 3 Coding - Deep SARSA 3

• کدگذاری - Deep SARSA 4 Coding - Deep SARSA 4

• کدگذاری - Deep SARSA 4 Coding - Deep SARSA 4

• کدگذاری - Deep SARSA 4 (ضمیمه) Coding - Deep SARSA 4 (Addendum)

• کدگذاری - Deep SARSA 5 Coding - Deep SARSA 5

• کدگذاری - Deep SARSA 6 Coding - Deep SARSA 6

• کدگذاری - Deep SARSA 6 Coding - Deep SARSA 6

• کدگذاری - Deep SARSA 7 Coding - Deep SARSA 7

• کدگذاری - Deep SARSA 8 Coding - Deep SARSA 8

• کدگذاری - Deep SARSA 9 Coding - Deep SARSA 9

• کدگذاری - Deep SARSA 9 Coding - Deep SARSA 9

• کدگذاری - Deep SARSA 10 Coding -Deep SARSA 10

• کدگذاری - Deep SARSA 10 Coding -Deep SARSA 10

Deep Q-Learning Deep Q-Learning

• راه اندازی - Deep Q-Learning Setup - Deep Q-Learning

• کد نویسی - Deep Q-Learning 1 Coding - Deep Q-Learning 1

• کدنویسی - Deep Q-Learning 3 Coding - Deep Q-Learning 3

Deep Q-Learning Deep Q-Learning

• Deep Q-Learning Deep Q-Learning

• Deep Q-Learning Deep Q-Learning

• راه اندازی - Deep Q-Learning Setup - Deep Q-Learning

• کد نویسی - Deep Q-Learning 1 Coding - Deep Q-Learning 1

• کدنویسی - Deep Q-Learning 2 Coding - Deep Q-Learning 2

• کدنویسی - Deep Q-Learning 2 Coding - Deep Q-Learning 2

• کدنویسی - Deep Q-Learning 3 Coding - Deep Q-Learning 3

تقویت کنید REINFORCE

• روش های گرادیان خط مشی Policy gradient methods

• نمایش سیاست ها با استفاده از شبکه های عصبی Representing policies using neural networks

• عملکرد سیاست Policy performance

• قضیه گرادیان خط مشی The policy gradient theorem

• تنظیم آنتروپی Entropy regularization

• کدگذاری - REINFORCE 1 Coding - REINFORCE 1

• کدگذاری - REINFORCE 3 Coding - REINFORCE 3

تقویت کنید REINFORCE

• روش های گرادیان خط مشی Policy gradient methods

• نمایش سیاست ها با استفاده از شبکه های عصبی Representing policies using neural networks

• عملکرد سیاست Policy performance

• قضیه گرادیان خط مشی The policy gradient theorem

• تقویت کنید REINFORCE

• تقویت کنید REINFORCE

• یادگیری موازی Parallel learning

• یادگیری موازی Parallel learning

• تنظیم آنتروپی Entropy regularization

• تقویت 2 REINFORCE 2

• تقویت 2 REINFORCE 2

• کدگذاری - REINFORCE 1 Coding - REINFORCE 1

• کدگذاری - REINFORCE 2 Coding - REINFORCE 2

• کدگذاری - REINFORCE 2 Coding - REINFORCE 2

• کدگذاری - REINFORCE 3 Coding - REINFORCE 3

• کدگذاری - REINFORCE 4 Coding - REINFORCE 4

• کدگذاری - REINFORCE 4 Coding - REINFORCE 4

• کدگذاری - REINFORCE 5 Coding - REINFORCE 5

• کدگذاری - REINFORCE 5 Coding - REINFORCE 5

Advantage Actor-Critic (A2C) Advantage Actor-Critic (A2C)

• A2C A2C

• راه اندازی - A2C Setup - A2C

• کدگذاری - A2C 1 Coding - A2C 1

• کدگذاری - A2C 3 Coding - A2C 3

Advantage Actor-Critic (A2C) Advantage Actor-Critic (A2C)

• A2C A2C

• راه اندازی - A2C Setup - A2C

• کدگذاری - A2C 1 Coding - A2C 1

• کدگذاری - A2C 2 Coding - A2C 2

• کدگذاری - A2C 2 Coding - A2C 2

• کدگذاری - A2C 3 Coding - A2C 3

• کدگذاری - A2C 4 Coding - A2C 4

• کدگذاری - A2C 4 Coding - A2C 4

Outro Outro

• مراحل بعدی Next steps

Outro Outro

• نگاهی به گذشته Looking back

• نگاهی به گذشته Looking back

• مراحل بعدی Next steps

• مراحل بعدی Next steps

• مراحل بعدی Next steps