آموزش زنجیره‌های مارکوف زمان-گسسته و روش‌های مونت‌کارلو - آخرین آپدیت

سرفصل ها و درس ها

شروع کار Getting Started

زنجیره‌های مارکوف ۱: مبانی Markov Chains I: The Basics

• مقدمه‌ای بر فرآیندهای تصادفی Introduction to Stochastic Processes

• احتمال شرطی برای رویدادها و متغیرهای تصادفی Conditional Probability for Events and Random Variables

• تحلیل عمیق احتمال شرطی "Unraveling" Conditional Probability

• تعریف زنجیره مارکوف Definition of a Markov Chain

• گام‌های زمانی گم شده در زنجیره مارکوف Missing Time Steps in a Markov Chain

• استقلال شرطی Conditional Independence

• همگنی زمانی و ماتریس احتمال انتقال Time Homogeneity and the Transition Probability Matrix

• محاسبات پایه زنجیره مارکوف Basic Markov Chain Calculations

• معادلات چاپمن-کولموگروف The Chapman-Kolmogorov Equations

• حالت‌های جذب‌کننده، بخش اول Absorbing States, Part 1

• حالت‌های جذب‌کننده، بخش دوم Absorbing States, Part 2

• تاریخچه‌ای طولانی‌تر در چارچوب مارکوف A Longer History in a Markov Framework

زنجیره‌های مارکوف ۲: توزیع‌های حدی Markov Chains II: Limiting Distributions

• مقدمه‌ای بر توزیع‌های حدی Introduction to Limiting Distributions

• کلاس‌های ارتباطی برای یک زنجیره مارکوف Communication Classes for a Markov Chain

• طبقه‌بندی حالت‌ها: بازگشت‌پذیری و گذرا بودن Classification of States: Recurrence and Transience

• تعداد مورد انتظار بازگشت‌ها به یک حالت گذرا Expected Number of Returns to a Transient State

• توصیف جایگزین برای بازگشت‌پذیری و گذرا بودن Alternative Characterization of Recurrence and Transience

• بازگشت‌پذیری و گذرا بودن به عنوان ویژگی‌های کلاس Recurrence and Transience are Class Properties

• گشت تصادفی The Random Walk

• وجود و یکتایی توزیع حدی Existence and Uniqueness of the Limiting Distribution

• فاصله نرم تغییرات کلی بین توزیع‌ها Total Variation Norm Distance Between Distributions

زنجیره‌های مارکوف ۳: توزیع‌های ایستا و تحلیل‌های گام اول Markov Chains III: Stationary Distributions and First-Step Analyses

• مقدمه‌ای بر توزیع‌های ایستا Introduction to Stationary Distributions

• یافتن توزیع ایستا Finding a Stationary Distribution

• پرسش‌های مربوط به «نسبت زمان در بلندمدت» "Long-Run Proportion of Time" Questions

• وجود و یکتایی توزیع ایستا Existence and Uniqueness of the Stationary Distribution

• زمان برخورد مورد انتظار Expected Hitting Time

• زمان بازگشت مورد انتظار Expected Return Time

• احتمال برخورد به یک حالت پیش از حالت دیگر Probability of Hitting One State Before Another

• تعداد مورد انتظار بازدیدها از یک حالت واسط Expected Number of Visits to a an Intermediate State

• زمان‌های متوسط الگو، بخش اول Mean Pattern Times, Part 1

• زمان‌های متوسط الگو، بخش دوم Mean Pattern Times, Part 2

• نرخ همگرایی به حالت ایستا: ارتباط با مقادیر ویژه Rate of Convergence to Stationarity: The Eigenvalue Connection

شبیه‌سازی و الگوریتم‌های مونت‌کارلو زنجیره مارکوف Simulation and Markov Chain Monte Carlo Algorithms

• هدف شبیه‌سازی متغیرهای تصادفی گسسته و پیوسته The Goal of Discrete and Continuous Random Variable Simulation

• روش «بریدن بازه» برای شبیه‌سازی متغیر تصادفی گسسته "Interval Chopping" for Discrete Random Variable Simulation

• روش CDF معکوس The Inverse CDF Method

• روش پذیرش-رد، بخش اول The Accept-Reject Method, Part 1

• روش پذیرش-رد، بخش دوم The Accept-Reject Method, Part 2

• زنجیره‌های مارکوف زمان-گسسته در فضای حالت پیوسته Discrete-Time Markov Chains on a Continuous State Space

• برگشت‌پذیری یا تعادل تفصیلی Reversibility or Detailed Balance

• مقدمه‌ای بر الگوریتم متروپولیس-هستینگز Introduction to the Metropolis-Hastings Algorithm

• مثالی از الگوریتم متروپولیس-هستینگز An Example of the Metropolis-Hasting Algorithm

• مثالی از الگوریتم متروپولیس-هستینگز در ابعاد بالاتر A Higher-Dimensional Metropolis-Hasting Algorithm Example

• مقدمه‌ای بر نمونه‌بردار گیبز Introduction to the Gibbs Sampler

• مثالی از نمونه‌بردار گیبز An Example of the Gibbs Sampler

• مقدمه‌ای بر شبیه‌سازی کامل Introduction to Perfect Simulation

یادگیری تقویت‌پذیر و فرآیندهای تصمیم‌گیری مارکوف Reinforcement Learning and Markov Decision Processes

• فرآیندهای تصمیم‌گیری مارکوف: مسئله و نمادگذاری Markov Decision Processes: The Problem and Notation

• پاداش‌ها و توابع مقدار Rewards and Value Functions

• معادله بلمن The Bellman Equation

• محاسبات تابع مقدار Value Function Computations

• یافتن سیاست بهینه Finding the Optimal Policy