آموزش برنامه‌نویسی پاداش: بهینه‌سازی کارایی و ایمنی در یادگیری تقویت‌شده (RL) - آخرین آپدیت

چرا مهندسی پاداش دشوار است Why Reward Engineering Is Hard

• مقدمه دوره Course Introduction

• مقدمه ماژول Module Introduction

• مهندسی پاداش به عنوان طراحی مشخصات Reward Engineering as Specification Design

• زمانی که پاداش بالا، رفتار مورد نظر نیست When High Reward is not the Intended Behavior

• ساختار زمانی در اهداف یادگیری Temporal Structure in Learning Objectives

• زمانی که پاداش‌ها به حافظه نیاز دارند When Rewards Need Memory

• از قصد تا مشخصات و نظارت‌ها From Intent to Specifications and Montiors

منطق زمانی برای یادگیری تقویت‌شده Temporal Logic for Reinforcement Learning

• مقدمه ماژول ۲ Module 2 Introduction

• برچسب‌گذاری رفتار با گزاره‌های اتمیک Labeling Behavior with Atomic Propositions

• نوشتن مشخصات زمانی Writing Temporal Specifications

• تفسیر فرمول‌ها روی ردپاها (Traces) Interpreting Formulas Over Traces

• دسترس‌پذیری، ایمنی، پاسخ، تکرار و تداوم Reachability, Safety, Response, Recurrence, and Persitence

• اهداف بلندمدت برای رفتارهای نامحدود Long-Run Objectives for Infinite Behavior

• MDPهای محصول، دترمینیسم حدی و دسترس‌پذیری حدی Product MDPs, Limit Determinism, and Limit Reachability

ماشین‌های پاداش به عنوان مشخصات ساختاریافته پاداش Reward Machines as Structured Reward Specifications

• مقدمه ماژول Module Introduction

• زمانی که پاداش‌ها به حافظه نیاز دارند When Rewards Need Memory

• حالت‌ها، انتقال‌ها و پاداش‌ها States, Transitions, and Rewards

• مارکوف کردن پاداش‌های غیر مارکوفی Making Non-Markovian Rewards Markovian

• توالی، ایمنی، پاسخ و تکرار Sequencing, Safety, Response, and Recurrence

• تجزیه، تفسیرپذیری و تجربه متقابل (Counterfactual) Decomposition, Interpretability, and Counterfactual Experience

شکل‌دهی پاداش و یادگیری پاداش‌ها Reward Shaping and Learning Rewards

• مقدمه ماژول Module Introduction

• اطلاعاتی‌تر کردن سیگنال‌های یادگیری Making Learning Signals More Informative

• متراکم کردن پاداش‌ها با حفظ بهینگی Densifying Rewards While Preserving Optimality

• استنتاج پاداش‌ها از رفتار متخصص Inferring Rewards From Expert Behavior

• یادگیری اهداف از طریق مقایسه‌ها Learning Objectives From Comparisons

• استنتاج منطق ساختاریافته پاداش Inferring Structured Reward Logic

• وفاداری، استحکام و بازی با مشخصات Faithfulness, Robustness, and Specification Gaming

مدل‌های غنی‌تر برای برنامه‌نویسی پاداش Richer Models for Reward Programming

• مقدمه ماژول Module Introduction

• زمانی که عامل کل حالت را نمی‌بیند When the Agent Does Not See the Full State

• حالت‌های اطلاعاتی برای برنامه‌نویسی پاداش Information States For Reward Programming

• ساختار پاداش برای وظایف ترکیبی Reward Structure for Composed Tasks

• اهداف تحت تعاملات استراتژیک Objectives Under Strategic Interaction

• برنامه‌نویسی پاداش فراتر از زمان گسسته Reward Programming Beyond Discrete Time

• خلاصه و مطالعه بیشتر Summary and Further Readings