p-значение

Тест выдал $p=0,03$ — что это значит? p-значение — вероятность при верной $H_0$ получить статистику не менее экстремальную, чем в опыте: если эффекта нет вовсе, такой или ещё более яркий результат случался бы в трёх процентах повторных экспериментов. Правило решения: $p\le \alpha$ — нулевая гипотеза отвергается. Переводить следует аккуратно: $p$ — не вероятность того, что $H_0$ верна, и не мера случайности результата. Это хвост данных в мире, где нулевая гипотеза уже принята за истину. Механика тестов — в уроке проверка гипотез, готовые схемы — в шпаргалке по гипотезам.

Считаем: монетка после $100$ бросков дала $60$ орлов. $H_0$: монета честная. По нормальному приближению $Z=(60-50)/5=2$, двустороннее $p=2(1-\Phi (2))\approx 0,045$. На уровне $5\%$ монета подозрительна, на уровне $1\%$ — ещё безобидна: $p$ живёт между порогами. Обратите внимание на роль объёма: $600$ орлов из $1000$ бросков — та же доля $60\%$, но $Z=6,3$ и $p\approx 10^{-10}$: приговор громче, потому что данные в десять раз больше. $p$-значение измеряет согласие с $H_0$, но не размер эффекта.