Критерий согласия хи-квадрат: проверяем честность кубика

Сосед по общежитию три вечера кидает свой кубик и ведёт счёт: из 60 бросков шестёрка выпала 18 раз, а пятёрка — 14. «Кубик кривой, со мной играют нечестно», — делает вывод он. Шесть лишних шестёрок — это много или обычная случайность? Интуиция молчит: у случайности широкий почерк. А статистика даёт численный ответ за пять минут — критерием согласия χ² Пирсона. Им же проверяют, ложатся ли данные на нормальный закон, и этим же ловят накрутки в голосованиях.

Когда частоты слишком разные: в чём идея критерия?#

Проверяем нулевую гипотезу: «кубик честный, все грани равновероятны». Из неё мгновенно следует, сколько выпадений каждой грани ждать в среднем: при $n=60$ бросках ожидаемая частота $E=60\cdot \frac{1}{6}=10$. Реальные, наблюдаемые частоты $O$ от ожидаемых почти никогда не совпадут — вопрос не в наличии расхождения, а в его размере. Пирсон предложил измерять расхождение так:

Почему именно так? Квадрат снимает знак — перевыпадение и недовыпадение одинаково подозрительны. Деление на $E$ приводит всё к одной шкале: промах на 3 при ожидании 100 — мелочь, а при ожидании 5 — катастрофа. А сумма по всем ячейкам собирает картину целиком, не давая одной грани замаскировать остальные. Логика нулевой гипотезы и уровня значимости разобрана с нуля в уроке про проверку гипотез.

Гениальный ход Пирсона (1900 год) — он вычислил распределение этой суммы при верной гипотезе: оказалось, при больших $n$ она подчиняется закону ${\chi }^2$ с $m-1$ степенями свободы. Отсюда рецепт: посчитать статистику по данным и сравнить её с критическим значением — порогом, который честный кубик перескакивает редко (обычно в 5% или 1% случаев).

Как посчитать χ² на кубике и выбрать порог?#

Возвращаемся к соседу. Наблюдаемые частоты: $O=(18,14,7,7,7,7)$ — в сумме 60, всё честно. Ожидаемые — по 10 на грань. Считаем вклады и складываем:

1. 1
   Вклады граней: $\frac{(18-10{)}^2}{10}=6,4$, $\frac{(14-10{)}^2}{10}=1,6$, четыре грани по $\frac{(7-10{)}^2}{10}=0,9$.
2. 2
   Сумма: ${\chi }^2=\frac{64+16+9+9+9+9}{10}=\frac{116}{10}=11,6$.
3. 3
   Степени свободы: $df=6-1=5$ — граней шесть, но сумма частот жёстко равна $n$, одна связь съедает одну степень.
4. 4
   Порог на уровне 5%: ${\chi }_{0,05}^2(5)=11,07$. Наше $11,6$ больше — гипотезу о честности отвергаем.
5. 5
   Порог на уровне 1%: ${\chi }_{0,01}^2(5)=15,09$. Теперь $11,6$ меньше — на этом уровне гипотезу не отвергаем.

Два разных ответа? Нет, одно решение с разной страховкой. На 5% уровне мы допускаем ошибку «обвинить невиновный» в пяти случаях из ста — при ${\chi }^2=11,6$ (точный p-value ≈ 0,04) риска не больше договорённого, отвергаем. Требование «ошибаться лишь в 1% случаев» смягчает приговор: для такого обвинения нужен более редкий расклад. Соседу честно скажем: данные говорят против кубика на привычном пороге, но неопровержимых улик уровня «один шанс из ста» нет.

Для контраста возьмём другой вечер: $O=(14,12,9,8,9,8)$. Вклады: $\frac{16+4+1+4+1+4}{10}=3,0$. Три против порога $11,07$ — расхождения вдвое-двое меньше того, что честный кубик себе позволяет. Никакого дела нет: при верной гипотезе ${\chi }^2$ такого размера случается примерно в 70% вечеров. Различие между $11,6$ и $3,0$ — и есть разница между «подозрительно» и «шум».

Где критерий живёт за пределами казино?#

Классика генетики. Мендель скрещивал горох и ждал расщепления по признакам в соотношении $9:3:3:1$ — всего $556$ семян. Ожидаемые частоты: $312,75;104,25;104,25;34,75$. Наблюдения: $315;108;101;32$. Статистика: ${\chi }^2=0,47$ при $df=4-1=3$ и пороге $7,81$ — данные ложатся на теорию Менделя почти идеально. Именно этот расчёт (по-другому оформленный) защищал его выводы от обвинений в подгонке: слишком уж красивые числа у Менделя до сих пор вызывают у историков науки лёгкую иронию.

Та же механика работает в A/B-тестировании, когда сравнивают две доли, в маркетинге — при проверке «равномерности» выбора вариантов упаковки, в веб-аналитике — при контроле распределения кликов по дням недели. Везде один и тот же рецепт: есть теоретическая пропорция, есть наблюдаемые частоты, есть шкала $\frac{(O-E{)}^2}{E}$, которая превращает «что-то кажется странным» в число с порогом. Разница только в том, откуда берутся ожидания: из $n/6$ у кубика, из закона Пуассона у опечаток, из гипотезы равномерности у кликов.

Что делать с редкими событиями: правило E ≥ 5#

Предостережение: приближение Пирсона опирается на то, что ожидаемые частоты не крошечные. Стандартное требование — в каждой ячейке $E\ge 5$. Что делать, если в хвосте таблицы ожидания падают до единиц? Объединять соседние ячейки, пока правило не выполнится. Типовая ситуация — проверка распределения Пуассона (о ней в уроке биномное и Пуассона): пусть на 100 страницах рукописи искали опечатки. Среднее число опечаток на страницу оценили по тем же данным: $\hat{\lambda }=1,2$. Ожидаемые частоты:

Ячейка «4 опечатки» ожидается в $E_4\approx 2,6$ случаях — меньше пяти. Хвост «от 4 и больше» вместе даёт лишь $3,4$ — тоже не дотягивает. Приходится сливать от трёх: ячейка «3 и больше» ожидается с $E_{3+}=12,1$. Наблюдаемые частоты (100 страниц): 31, 35, 20 страниц без опечаток, с одной и с двумя; плюс 11 страниц с тремя и 3 страницы с четырьмя — хвост 14. Сводим таблицу и считаем:

Степени свободы считаются по формуле $df=m-1-r$, где $m$ — число ячеек после объединения, $r$ — число параметров, оценённых по той же выборке. Здесь $m=4$, а $r=1$: параметр $\lambda$ мы взяли из данных, он «связал» частоты. Итого $df=4-1-1=2$, порог на 5% — ${\chi }_{0,05}^2(2)=5,99$. Статистика $0,51$ в шесть раз меньше порога: данных против гипотезы Пуассона нет (p-value ≈ 0,78).

А если распределение непрерывное? Критерий Колмогорова#

χ²-критерий группирует данные по ячейкам — для непрерывного закона границы приходится придумывать, а это произвол. Критерий Колмогорова обходится без группировки: строится эмпирическая функция распределения $F_n^{\ast }(x)$ (доля наблюдений левее $x$ — ступеньки) и измеряется её максимальный вертикальный зазор от теоретической $F(x)$:

При верной $H_0$ статистика $\sqrt{n}{D}_n$ имеет распределение Колмогорова; на 5% уровне критическое значение $1,36$. Проверили 100 наблюдений, максимальный зазор вышел $0,10$: $\sqrt{100}\cdot 0,10=1,0<1,36$ — повода отвергнуть нет. Тонкость: если параметры закона (среднее, сигма) оценены по той же выборке, порог $1,36$ занижен — нужны поправки Лиллиефорса. Куда копать дальше: оценки и выборка — в уроке выборка и оценки, сам нормальный закон — в уроке про нормальное распределение и словарной статье о нормальном распределении; математическое ожидание в языке ожидаемых частот уже встретилось вам сегодня.

Выбор между критериями простой: данные дискретны и делятся на ячейки — берите χ² Пирсона; данные непрерывны и жалко терять информацию группировкой — берите Колмогорова, если параметры известны заранее, или дополняйте его поправками, если оценены. А если объём мал и ячейки всё равно не набирают пяти ожиданий, у статистиков есть ещё точный критерий Фишера для таблиц $2\times 2$ — про него рассказывают в курсах статистики поглубже; здесь достаточно понимать, что χ² — не единственный инструмент, но самый частый гость в задачниках.

Порядок работы при любой проверке согласия один: сформулировать $H_0$ конкретным законом с конкретными параметрами, выписать ожидаемые частоты, объединить редкие ячейки, посчитать статистику, найти степени свободы и сравнить с порогом. Тренировочные задачи на всю эту цепочку лежат в тренажёре по теории вероятностей, готовые рецепты — в шпаргалке по статистике и гипотезам, а пошаговые разборы — в разделе как решать задачи на вероятность.

• ${\chi }^2=\sum \frac{(O-E{)}^2}{E}$ — квадрат промаха, делённый на ожидание, по всем ячейкам
• Степени свободы: $df=m-1-r$; оценка параметров по выборке вычитается обязательна
• Порог зависит от уровня значимости: кубик с ${\chi }^2=11,6$ при $df=5$ отвергается на 5%, но не на 1%
• Ячейку с $E<5$ нельзя оставлять — объединяйте с соседями до выполнения правила
• Для непрерывных законов без группировки — Колмогоров: $\sqrt{n}{D}_n$ против $1,36$ на 5%