Полная вероятность и формула Байеса: разбор с примерами

Детектив приходит на место преступления и не знает, кто виновник. У него есть список подозреваемых и одна улика. Улика по-разному «весит» для разных подозреваемых: у одного мотив, у другого алиби. Опытный сыщик складывает улику по всем подозреваемым, а потом спрашивает: «если улика верна, насколько теперь вероятен каждый?» В этих двух фразах спрятаны обе формулы этого урока — полная вероятность и Байес. Они стоят в сердце статистики, фильтров спама и медицинских тестов.

Полная группа гипотез и формула полной вероятности#

Сначала разложим ситуацию по полочкам. Событие, о котором мы хотим судить, обозначим $B$. Причины, сценарии, «кто виноват» — гипотезы $H_1,H_2,\dots ,H_n$. К гипотезам два требования: они несовместны (в один момент верна ровно одна) и образуют полную группу (хотя бы одна обязательно верна). Вместе это значит: $P(H_1)+P(H_2)+\cdots +P(H_n)=1$.

Вероятность каждого сценария до опыта — априорная вероятность $P(H_i)$. И для каждой гипотезы известно, с каким шансом она порождает событие $B$: условная вероятность $P(B\mid H_i)$. Тогда событие $B$ может прийти «через любую из дверей», и полная вероятность — сумма по всем дверям:

Каждое слагаемое — это вес полного пути в дереве: сначала выбрали гипотезу, потом она привела к $B$. В уроке об условной вероятности мы уже умножали вдоль ветвей — здесь то же самое, только путей много и мы складываем все. Словарная статья формула полной вероятности хранит формулировку с условием полной группы гипотез.

Живой пример. На склад поступают лампочки с двух заводов: первый даёт 30% продукции и 2% брака, второй — 70% и 5%. Гипотезы: $H_1$ — лампа с первого завода ($P=0,3$), $H_2$ — со второго ($P=0,7$). Событие $B$ — «лампа бракованная». Условные вероятности: $P(B\mid H_1)=0,02$, $P(B\mid H_2)=0,05$. Полная вероятность брака:

Формула Байеса: разворачиваем условие#

Полная вероятность отвечает на вопрос «какова доля брака на складе». Но обычно вопрос звучит иначе: «лампа оказалась бракованной — с какого завода она вероятнее всего?» Условие и следствие меняются местами. На это отвечает формула Байеса:

Числитель — вес пути «гипотеза, потом событие»; знаменатель — сумма весов всех путей, приводящих к $B$. То есть апостериорная вероятность — доля конкретной гипотезы во всём «событии B». Досчитаем пример: доля первого завода среди брака равна $\frac{0,006}{0,041}=\frac{6}{41}\approx 0,146$.

Остановитесь и посмотрите, что произошло. До опыта первый завод давал 30% продукции. После того как мы увидели брак, его вклад упал до 14,6%. Разумно: он бракует реже, среди дефектных лампочек его должно быть меньше. Формула Байеса формализует именно эту интуицию: новая улика перераспределяет доверие между гипотезами.

Парадокс редкой болезни#

Самый известный способ почувствовать формулу — медицинский тест. Болезнь редкая: ей болен 1% населения. Тест хороший: у больного он положителен в 99% случаев, у здорового ошибается (даёт ложный плюс) в 5%. Вы сдали тест — он положительный. Какова вероятность, что вы больны?

Интуиция кричит: «99%!». Формула спокойно отвечает: около 17%. Здоровых в сто раз больше, чем больных, и 5% от огромного числа здоровых — это больше, чем 99% от крошечного числа больных. Посчитайте сами, открывая шаги:

Тот же расчёт в живом виде: в интерактиве ниже ползунки стоят на значениях теста. Подвигайте априорную вероятность $P(A)$ и посмотрите, как постериорная вероятность взлетает, когда болезнь перестаёт быть редкой. Для частой болезни (скажем, 30%) тот же тест подтверждает её в 89% случаев.

Как решать задачи без паники#

Порядок действий одинаковый почти всегда. Выпишите гипотезы и проверьте, что их вероятности в сумме дают единицу. Выпишите условные вероятности улики при каждой гипотезе. Посчитайте полную вероятность — это знаменатель. Поделите нужный путь на знаменатель — это Байес. Ошибки почти всегда в одном: гипотезы неполны (не покрывают все случаи) или пересекаются.

Досмотрим историю о тесте до конца — заодно увидим, как Байес работает повторно. Напомним: после первого положительного теста вероятность болезни выросла с $1\%$ до $1/6\approx 16,7\%$. Врач назначает второй, независимый тест с теми же характеристиками: чувствительность $99\%$, ложный плюс $5\%$. Он тоже положительный. Какова теперь вероятность болезни?

1. 1
   Априорная вероятность теперь не $0,01$, а апостериорная из прошлого шага: $P(H)=1/6$.
2. 2
   Вес пути «болен, плюс»: $\frac{1}{6}\cdot 0,99=0,165$.
3. 3
   Вес пути «здоров, плюс»: $\frac{5}{6}\cdot 0,05=\frac{0,25}{6}\approx 0,0417$.
4. 4
   Полная вероятность плюса: $0,165+0,0417=0,2067$.
5. 5
   Байес: $P(H\mid +)=\frac{0,165}{0,2067}=\frac{99}{124}\approx 0,80$.

Разница колоссальная: один плюс поднимал подозрение до $17\%$, второй — сразу до $80\%$. Каждый следующий тест опирается на всё более взвешенный априор, и именно поэтому редкие болезни подтверждают серией анализов, а не одним. Идёт быстро: уже третий плюс отправил бы вероятность за $99\%$.

• Байес — дробь: сверху «гипотеза × правдоподобие», снизу — то же самое, просуммированное по всем гипотезам.
• Знаменатель — всегда полная вероятность; посчитал её — полдела.
• Улика редкой гипотезы почти ничего не весит: 99% точности против 1% распространённости — и всё равно победили частоты.
• После каждого шага априор обновляется; цепочка тестов сходится к истине стремительно.

Есть форма Байеса для быстрых прикидок — через шансы. Апостериорные шансы гипотезы = априорные шансы × отношение правдоподобий. В задаче о тесте: априорные шансы болезни $0,01/0,99\approx 1:99$; отношение правдоподобий $0,99/0,05=19,8$. Перемножаем: шансы становятся примерно $1:5$, что и есть вероятность $1/6$. Один множитель вместо дроби с знаменателем — так медики и оценивают результат скрининга в уме.