🎲 Тервер

Ошибка первого рода

Q: Как α связана с p-значением?

$\alpha$ — порог, назначенный заранее; $p$-значение — результат конкретного теста. Отвергнуть $H_0$ — значит $p \le \alpha$: при $\alpha = 0{,}05$ один из двадцати «пустых» экспериментов даст $p < 0{,}05$ чисто случайно. Отсюда привычка сообщать точное $p$, а не только вердикт: $p = 0{,}049$ и $p = 0{,}003$ несут разную силу улик при одном пороге. Готовые пары порогов и квантилей — в [шпаргалке по статистике](/shpargalki/statistika-i-gipotezy/).

англ. Type I error

Ложная тревога: отвергнуть верную нулевую гипотезу. Её вероятность — уровень значимости α, назначаемый до теста: α = 0,05 обещает один ложный выговор примерно на двадцать чистых проверок.

Контроль забраковал партию, в которой все детали годные, — это ошибка первого рода: отвергнута верная $H_{0}$ . Её вероятность фиксируется заранее как уровень значимости $α$ : в мире без эффекта тест кричит «эффект есть» в $α$ -доле случаев. Порог выбирают по цене ложной тревоги: отправить годную партию в утиль дороже или дешевле пропустить брак? Скрининг боится ложных диагнозов, банк — пропущенных мошенничеств, и их $α$ различаются. Судебная аналогия безотказна: осудить невиновного — ошибка первого рода, и презумпция невиновности — это выбор малого $α$ . Схема тестов — в уроке проверка гипотез.

Числовой сюжет: на конвейере каждый час проверяют гипотезу «процесс в норме» с $α = 0, 05$ . За смену восемь проверок: вероятность хотя бы одной ложной остановки $1 - 0, 9 5^{8} \approx 0, 34$ — треть смен получит фальшивый сигнал. Снижение до $α = 0, 01$ даёт $1 - 0, 9 9^{8} \approx 0, 08$ , но расплатой станет рост ошибок второго рода. А множественные проверки и вовсе опасны: сто независимых тестов с $α = 0, 05$ почти наверняка ( $\approx 99, 4%$ ) родят хотя бы одну ложную находку — поправка Бонферрони и контроль доли ложных открытий существуют именно поэтому.

α = P (отвергнуть H_{0} ∣ H_{0} верна) = P (T \in критическая область ∣ H_{0})

ошибка первого рода: условная вероятность ложного отвержения — это и есть уровень значимости теста

Частые вопросы

Почему не взять α = 0,0001 и забыть о ложных тревогах?

Можно, но счёт придёт с другой стороны: критическая область сожмётся, и вырастет $β$ — вероятность пропустить реальный эффект. Между ложными тревогами и пропусками всегда торг при фиксированных данных. Единственный способ уменьшить обе ошибки разом — больше выборка: с ростом $n$ распределения статистики при $H_{0}$ и $H_{1}$ расступаются, и порог можно двигать почти без потерь. Поэтому планируют связку $α$ , $β$ и $n$ , а не $α$ в одиночку.

Как α связана с p-значением?

$α$ — порог, назначенный заранее; $p$ -значение — результат конкретного теста. Отвергнуть $H_{0}$ — значит $p \leq α$ : при $α = 0, 05$ один из двадцати «пустых» экспериментов даст $p < 0, 05$ чисто случайно. Отсюда привычка сообщать точное $p$ , а не только вердикт: $p = 0, 049$ и $p = 0, 003$ несут разную силу улик при одном пороге. Готовые пары порогов и квантилей — в шпаргалке по статистике.