Проверка статистических гипотез: ошибки, критерии и p-value

Фабрика заявляет: каждая пачка чая весит 500 граммов. Контролёр взвесил 25 пачек и получил в среднем 495. Совпадение или сбой? Прокурорский вопрос «докажите, что станок виноват» статистика не устраивает — данные шумные, и любой средний может отклониться просто так. Вместо этого статистика работает как суд презумпцией невиновности: гипотеза считается верной, пока данные не докажут обратное. Как именно оформляют такое доказательство — тема урока.

Нулевая и альтернативная гипотезы#

Нулевая гипотеза $H_0$ — утверждение «ничего особенного не происходит», вариант по умолчанию: станок настроен верно, лекарство работает не лучше плацебо, монета честная. Альтернативная гипотеза $H_1$ — то, что мы подозреваем на самом деле: вес отличается, лекарство помогает, монета кривая. Проверяют всегда именно $H_0$: решение звучит как «отвергаем $H_0$» или «не отвергаем», и никогда — «доказали $H_0$».

Альтернатива бывает двусторонней ($\mu \ne {\mu }_0$: отклонение в любую сторону нас настораживает) и односторонней ($\mu >{\mu }_0$ или $\mu <{\mu }_0$: важно лишь одно направление). Двусторонняя — выбор по умолчанию: она не подыгрывает исследователю. Одностороннюю имеет смысл ставить, когда отклонение в другую сторону физически неотличимо от нуля или неинтересно по постановке задачи.

• $H_0$: $\mu =500$ — станок держит номинал; $H_1$: $\mu \ne 500$ — сбился
• $H_0$: монета честная, $p=0,5$; $H_1$: $p\ne 0,5$ — монета кривая
• $H_0$: новое лекарство не лучше старого; $H_1$: лучше (односторонняя)
• $H_0$: данные коррелируют так же, как два независимых набора; $H_1$: связь есть

Два способа ошибиться: α и β#

Решение принимается по данным, а данные случайны — значит, возможны ошибки, и их ровно две. Ошибка I рода: отвергнуть верную $H_0$ — посадить невиновный станок. Её вероятность обозначают $\alpha$ и называют уровнем значимости; стандарт $\alpha =0,05$. Ошибка II рода: не отвергнуть ложную $H_0$ — отпустить виноватый. Её вероятность $\beta$. Величина $1-\beta$ — мощность критерия: способность распознать реальное отклонение, когда оно есть.

Симметрии тут нет: уменьшая $\alpha$, мы делаем критерий строже и одновременно увеличиваем $\beta$ — при том же объёме выборки бесплатного обеда не бывает. Единственный способ снизить обе ошибки сразу — собрать больше данных. Эту развилку стоит держать в голове всякий раз, когда кто-то хвастается одновременно сверхжёстким порогом значимости и сверхвысокой обнаруживаемостью на крошечной выборке.

Как устроен z-критерий#

Пусть проверяется $H_0:\mu ={\mu }_0$, а $\sigma$ известно. Логика проста: если $H_0$ верна, то выборочное среднее $\bar{x}$ колеблется вокруг ${\mu }_0$ со стандартной ошибкой $\sigma /\sqrt{n}$ — мы измеряем, на сколько стандартных ошибок наблюдение отползло от номинала:

При верной $H_0$ статистика $z$ близка к стандартному нормальному распределению: обычно она гуляет в пределах $\pm 2$. Если же получилось, скажем, $z=-2,5$, случайностью это объясняется плохо — либо редкая удача одна на шестьдесят серий, либо $H_0$ неверна. Порог задаёт $\alpha$: для двусторонней альтернативы при $\alpha =0,05$ критическая область — $|z|>1,96$.

Пример: пачки чая

Номинал ${\mu }_0=500$ г, из длительного опыта $\sigma =10$ г, взвешено $n=25$ пачек, $\bar{x}=495$ г. Считаем по шагам — и проверьте каждую строчку сами.

Обратите внимание на масштаб: пять граммов кажутся мелочью, но пять граммов на фоне ошибки в два грамма — большое отклонение. Статистика меряет не отклонение само по себе, а его отношение к шуму. Тот же сдвиг при $\sigma =40$ дал бы $z=-0,625$ и никакого заключения — шум съел бы сигнал. А если бы контролёра интересовало только занижение веса, тест стал бы односторонним: $H_1:\mu <500$, критическая область $z<-1,645$, и те же данные дали бы p-value $0,0062$ вместо $0,0124$ — весь уровень значимости ушёл бы в один хвост.

p-value: докладная статистики#

Современные пакеты выдают не «попал/не попал», а число — p-value: вероятность при верной $H_0$ получить отклонение статистики не слабее наблюдаемого. Для примера с пачками $z=2,5$, и нормальная кривая за пределами $\pm 2,5$ оставляет долю $2\cdot 0,0062=0,0124$ — вот и p-value. Смысл: если бы станок был настроен верно, такой перекос случился бы примерно в одном эксперименте из восьмидесяти. Решение принимают сравнением с $\alpha$: p-value меньше $\alpha$ — отвергаем. Правило «p < 0,05 — значимо» — та же проверка $|z|>1,96$, записанная через площадь.

Бросим монету сто раз и увидим 62 орла. Честная монета? Доля $w=0,62$, ошибка $\sqrt{0,25/100}=0,05$, статистика $z=(0,62-0,5)/0,05=2,4$, p-value $\approx 2\cdot 0,0082=0,016$. На уровне 0,05 — отвергаем: монета подозрительна. А 55 орлов дали бы $z=1$ и p-value около 0,32 — обычная случайность, хотя глазу 55% тоже «много». Здесь как раз пригодится симулятор ниже: даже честная монета регулярно выдаёт серии с перевесом.

Мощность: почему тесты не замечают слабые эффекты#

Мощность $1-\beta$ отвечает на вопрос «поймаем ли мы отклонение величиной $\delta$, если оно есть». Она растёт с тремя величинами: с размером эффекта $\delta$, с уровнем $\alpha$ и с объёмом выборки $n$. Отсюда практика планирования эксперимента: прежде чем тестировать, прикидывают, какой $n$ нужен, чтобы обнаружить практически важный эффект с вероятностью хотя бы 0,8. Тест с малой мощностью опасен не ошибкой, а тишиной: он пропустит сбой станка, и брак пойдёт к покупателям.

1. 1
   Сформулируйте $H_0$ и $H_1$; альтернатива двусторонняя, если нет причин для иного
2. 2
   Выберите уровень значимости $\alpha$ — до взгляда на данные, обычно 0,05
3. 3
   Выберите критерий и статистику (z при известной σ, Стьюдента при выборочной s)
4. 4
   Вычислите статистику по выборке и критическую точку (или p-value)
5. 5
   Сделайте вывод на языке задачи: «станок занижает вес», а не «$H_0$ отвергнута»

Тестирование и интервальное оценивание — взаимодополняющие техники: интервал показывает диапазон правдоподобных значений, тест даёт бинарный вердикт. Загляните в предыдущий урок о доверительных интервалах, если формулы квантилей забылись, и в урок о выборке — там определены $\bar{x}$, $s$ и стандартная ошибка, на которых стоит весь этот каркас. Потренироваться считать частоты и вероятности можно в тренажёре по теории вероятностей.