🎲 Тервер

Уравнение Чепмена—Колмогорова

Q: Как из уравнения вытащить стационарное распределение?

Попросить распределение перестать меняться: $\pi = \pi P$ при нормировке $\sum \pi_i = 1$. Для погоды выше: $\pi_{\text{С}} = 0{,}7\pi_{\text{С}} + 0{,}6\pi_{\text{Д}}$, откуда $\pi = (2/3;\ 1/3)$. Матрица $P^n$ при этом сходится к матрице с одинаковыми строками $\pi$ — если цепь регулярна и не заперта в поглощающих состояниях. Для эргодических цепей предел один и не зависит от старта, для поглощающих — зависит, и это уже другой сценарий со своей техникой.

англ. Chapman–Kolmogorov equation

Скелет марковской динамики: вероятность перехода за m + n шагов раскладывается через любое промежуточное состояние, в матрицах — P(m+n) = P(m)·P(n). Отсюда следуют Pⁿ и стационарные распределения.

У цепи Маркова короткая память: будущее зависит только от настоящего. Из этого в один шаг выводится уравнение Чепмена—Колмогорова: вероятность перейти из $i$ в $j$ за $m + n$ шагов равна сумме по всем промежуточным состояниям $k$ произведений $p_{ik} (m) p_{k j} (n)$ . В матричной записи $P (m + n) = P (m) P (n)$ , и мгновенное следствие: $P^{(n)} = P^{n}$ — куда система попадёт через десять шагов, покажет десятая степень матрицы переходов. Никакой новой физики: только разбор случаев, помноженный на марковское свойство. Базовые понятия цепей — в термине цепь Маркова.

Пример: погода из двух состояний, солнце и дождь; из солнца в дождь $0, 3$ , из дождя в солнце $0, 6$ . Возведение $P^{2}$ даёт строки $[0, 67; 0, 33]$ и $[0, 66; 0, 34]$ — старт уже наполовину забыт. После десяти шагов строки совпадут с точностью до восьмого знака: распределение стянулось к стационарному $π = (2/3; 1/3)$ . Для непрерывного времени уравнение превращается в дифференциальные уравнения Колмогорова для переходных вероятностей — на них держатся расчёты надёжности оборудования и систем массового обслуживания.

p_{ij} (m + n) = k \sum p_{ik} (m) p_{k j} (n), P (m + n) = P (m) P (n), P^{(n)} = P^{n}

уравнение Чепмена—Колмогорова: переход за суммарное число шагов раскладывается через любое промежуточное состояние

Частые вопросы

Почему уравнение — это формула полной вероятности?

Любой путь из $i$ в $j$ за $m + n$ шагов проходит через какое-то состояние $k$ на отметке $m$ . По марковскому свойству вероятность маршрута распадается: сначала попасть в $k$ за $m$ шагов, затем из $k$ в $j$ за $n$ шагов. Осталось просуммировать взаимоисключающие варианты по всем $k$ — это в точности приём урока условная вероятность, только в матричной одежде и с индексами.

Как из уравнения вытащить стационарное распределение?

Попросить распределение перестать меняться: $π = π P$ при нормировке $\sum π_{i} = 1$ . Для погоды выше: $π_{С} = 0, 7 π_{С} + 0, 6 π_{Д}$ , откуда $π = (2/3; 1/3)$ . Матрица $P^{n}$ при этом сходится к матрице с одинаковыми строками $π$ — если цепь регулярна и не заперта в поглощающих состояниях. Для эргодических цепей предел один и не зависит от старта, для поглощающих — зависит, и это уже другой сценарий со своей техникой.