آموزش یادگیری تقویتی برای مسائل تحقیق در عملیات - آخرین آپدیت

سرفصل ها و درس ها

مرور کلی Overview

• چرا این دوره؟ Why This Course

• این دوره برای چه کسانی است؟ Who is this course for?

• اهداف دوره و منابع Course objectives and Resources

مقدمه ای بر بهینه سازی ریاضی Introduction to Mathematical Optimization

• مثال زنجیره تامین Supply Chain Example

• بهینه سازی ریاضی چیست؟ What is Mathematical Optimization?

• رویکردهای مختلف ریاضی و محدودیت های آنها Different mathematical approaches and their limitations

مقدمه ای بر تحقیق در عملیات Introduction to Operations Research

• OR چیست؟ What is OR?

• مثال فرمول بندی MILP MILP formulation example

• ابزارهایی برای حل مدل های OR Tools for solving OR models

مقدمه ای بر یادگیری تقویتی Introduction to Reinforcement Learning

• منطق پشت بسیاری از الگوریتم ها Logic behind many algorithms

• تصمیم گیری متوالی پیچیده در شرایط عدم اطمینان Complex sequential decision making under uncertainty

• برنامه نویسی پویا Dynamic programming

• مثال برنامه نویسی پویا Dynamic programming example

• فرایند تصمیم گیری مارکوف Markov Decision Process

• معادله بلمن Bellman equation

• اجزای MDP MDP components

• اجزای یادگیری تقویتی Reinforcement Learning components

• یادگیری مونت کارلو، یادگیری تفاوت زمانی Monte Carlo Learning, Temporal Difference Learning

• Q-Learning Q-Learning

• Off Policy، On Policy Learning Off Policy, On Policy Learning

• مبانی یادگیری تقویتی عمیق Deep Reinforcement Learning Foundations

تخصیص منابع با برنامه نویسی پویا Resource Allocation with Dynamic Programming

• معرفی Google Colab Introduction to Google Colab

• شرح مسئله تخصیص منابع Resource Allocation problem description

• تعریف پارامترهای مسئله Define problem parameters

• تعریف پارامترهای الگوریتم Define algorithm parameters

• ماتریس انتقال-بخش 1 Transition matrix-Part 1

• ماتریس انتقال-بخش 2 Transition matrix-Part 2

• توضیح General Policy Iteration (GPI) General Policy Iteration (GPI) explained

• ارزیابی سیاست Policy Evaluation

• بهبود سیاست Policy Improvement

• تفسیر نتایج Interpret results

بهینه سازی موجودی با Q-Learning Inventory Optimization with Q-Learning

• شرح مسئله بهینه سازی مدیریت موجودی Inventory management optimization problem description

• تعریف پارامترها Define parameters

• Action Policy Action Policy

• Reward signal Reward signal

• معادله بلمن Bellman equation

• سیاست بهینه Optimal policy

مسئله فروشنده دوره گرد با Q-Learning Travel Salesman problem with Q-Learning

• شرح مسئله TSP TSP problem description

• تعریف پارامترها Define parameters

• استراتژی انتخاب Action Action selection strategy

• به روز رسانی Q-table Update Q-table

• الگوریتم Q-Learning Q-Learning algorithm

• استخراج بهترین مسیر Extract best route

مسئله فروشنده دوره گرد با Deep Q-Networks Travel Salesman problem with Deep Q-Networks

• نحوه طراحی محیط سفارشی بر اساس کتابخانه OpenAI gym How to design customized environment based on OpenAI gym library

• تعریف پارامترها Define parameters

• تابع reset() reset() function

• تابع step() step() function

• تست محیط Test the environment

• شبکه DQN DQN network

• ایده Reply buffer Reply buffer idea

• کلاس Reply buffer Reply buffer class

• مقداردهی اولیه عامل DQN Initialization of DQN agent

• استراتژی انتخاب Action Action selection strategy

• چرا شبکه policy و target؟ Why policy and target network?

• دریافت مقادیر Q Get Q-values

• به روز رسانی شبکه policy Update policy network

• به روز رسانی شبکه target Update target network

• نمایش بصری مقادیر loss Visualize loss values

• دریافت بهترین مسیر Get the best route

• حلقه اصلی آموزش Main training loop