🎲 Тервер

Поглощающее состояние цепи Маркова

англ. Absorbing state

Состояние цепи Маркова с P_ii = 1: попав туда, процесс остаётся навсегда. Разорившийся игрок, списанный станок, закрытая заявка — ловушки, в которых заканчиваются траектории.

В цепи Маркова состояния не равноправны: из одних процесс выходит, другие — ловушки без выхода. Поглощающее состояние — состояние с вероятностью остаться $P_{ii} = 1$ : единица на диагонали матрицы переходов и нули вокруг. Игрок разорился до нуля — монетки больше не бросаются; деталь окончательно списана — в строй не вернётся; заявка закрыта — из очереди исчезла. Матрицу переходов такой цепи канонично переставляют в блочный вид: единичный блок для ловушек, нулевой выход из них, блок $Q$ для блуждающих состояний и $R$ для переходов в ловушки. Общая теория — в термине цепь Маркова, работа с блочной структурой — в статье матрица.

Аппарат расчёта — фундаментальная матрица $N = (I - Q)^{- 1}$ . Элемент $N_{ij}$ — среднее число визитов в блуждающее состояние $j$ при старте из $i$ до поглощения; сумма по строке — средняя длина жизни процесса до ловушки; произведение $B = N R$ выдаёт вероятности поглотиться в конкретной ловушке. Пример: игрок с $2$ рублями бросает монетку, $+ 1$ при орле, $- 1$ при решке, выход при капитале $0$ или $4$ . Классический расчёт по матрице даёт: ждать поглощения в среднем $4$ броска, дойти до удвоения — с шансом ровно $1/2$ . Ни одна траектория не висит вечно.

N = (I - Q)^{- 1}, t_{i} = j \sum N_{ij}, B = N R

фундаментальная матрица поглощающей цепи: средние числа визитов, среднее время до ловушки и вероятности поглощения

Частые вопросы

Как найти поглощающие состояния и когда цепь называется поглощающей?

По матрице переходов: поглощающее состояние имеет строку с единицей на диагонали и нулями вокруг — попав, процесс не уходит. Цепь называют поглощающей, если из каждого состояния достижима хотя бы одна ловушка; тогда почти каждая траектория заканчивается в одной из них за конечное время, и аппарат фундаментальной матрицы применим целиком. Если же часть блуждающих состояний отрезана от ловушек, расчёт распадается на независимые куски.

Всегда ли процесс попадёт в ловушку?

Если цепь конечна и ловушка достижима отовсюду — да, с вероятностью единица; сценарий «блуждать вечно» имеет нулевой вес. Опасна близкая ситуация: $P_{ii} = 0, 999$ — формально выход существует, среднее время до него порядка тысячи шагов, но оно конечно. Разница между «нельзя выйти» и «почти нельзя» огромна для практики: оборудование с почти-поглощающими отказами живёт долго, а расчётная техника та же — фундаментальная матрица покажет время.