🎲 Тервер

Статистическая значимость

Q: Почему порог именно 0,05?

Это историческая условность Фишера, застывшая как стандарт. Выбор диктуют цены ошибок: пропуск реального лекарства дороже ложной находки — берите $\alpha$ меньше; разведочный поиск гипотез терпит $0{,}1$. Физика высоких энергий требует $5\sigma$ ($p \approx 3 \cdot 10^{-7}$): на тысячах проверяемых графиков эффекты найдутся и без того. Проблема не в числе, а в механической резке по линии: $p = 0{,}049$ и $p = 0{,}051$ — практически одинаковые результаты.

Q: Чем статистическая значимость отличается от практической?

Значимость отвечает, отличим ли эффект от нуля при данной выборке; практическая — стоит ли он денег, времени и риска. Большие данные делают значимым любой микросдвиг, малые топят крупный эффект в шуме. Проверяйте тройку: $p$-значение (сигнал есть?), размер эффекта (его величина), доверительный интервал (диапазон правдоподобных значений). Финальное решение принимает предметник: статистика вооружает расчётом, но цену $0{,}2$ процентного пункта конверсии знает тот, кто ведёт дело.

англ. Statistical significance

Вердикт теста: результат слишком редок для мира без эффекта, H₀ отвергается на уровне α. Значимость отвечает на вопрос «есть ли эффект», но не на «насколько он велик и важен».

Результат называют статистически значимым, когда данные настолько не похожи на мир без эффекта, что $H_{0}$ приходится отвергнуть: $p$ -значение не превысило выбранный уровень $α$ . Формально это заявка о редкости: при верной нулевой такие данные выпадали бы реже, чем в $α$ -доле экспериментов. Но значимость — не мера величины эффекта и не мера пользы: на миллионной выборке «значимым» станет сдвиг конверсии на $0, 01$ процентного пункта, который денег не приносит. Порог $α$ — конвенция ( $0, 05$ в науке, жёстче в физике частиц — $5 σ$ ), а не закон природы. Общая схема — в уроке проверка гипотез.

Пример о роли объёма: A/B-тест кнопки поднял конверсию с $10, 0%$ до $10, 2%$ . При тысяче посетителей на группу разница тонет в шуме: $p \approx 0, 9$ , значимости нет. При миллионе на группу тот же эффект даёт $p < 0, 001$ — значимость есть, но $0, 2$ процентного пункта могут стоить меньше, чем работа редизайнера. Обратная ловушка — забросить реальный эффект из-за «незначимости» при слабом дизайне. Рабочая связка из трёх слагаемых: значимость (есть ли сигнал), размер эффекта с интервалом (сколько именно), предметная цена (что это значит для дела).

p \leq α \Rightarrow результат значим; α = P (ложная тревога)

значимость как сравнение p-значения с порогом α; порог контролирует частоту ложных находок, но не величину эффекта

Частые вопросы

Почему порог именно 0,05?

Это историческая условность Фишера, застывшая как стандарт. Выбор диктуют цены ошибок: пропуск реального лекарства дороже ложной находки — берите $α$ меньше; разведочный поиск гипотез терпит $0, 1$ . Физика высоких энергий требует $5 σ$ ( $p \approx 3 \cdot 1 0^{- 7}$ ): на тысячах проверяемых графиков эффекты найдутся и без того. Проблема не в числе, а в механической резке по линии: $p = 0, 049$ и $p = 0, 051$ — практически одинаковые результаты.

Чем статистическая значимость отличается от практической?

Значимость отвечает, отличим ли эффект от нуля при данной выборке; практическая — стоит ли он денег, времени и риска. Большие данные делают значимым любой микросдвиг, малые топят крупный эффект в шуме. Проверяйте тройку: $p$ -значение (сигнал есть?), размер эффекта (его величина), доверительный интервал (диапазон правдоподобных значений). Финальное решение принимает предметник: статистика вооружает расчётом, но цену $0, 2$ процентного пункта конверсии знает тот, кто ведёт дело.