🎲 Тервер

Критерий хи-квадрат

англ. Chi-squared test

Критерий согласия Пирсона: наблюдаемые частоты сравниваются с ожидаемыми по гипотезе; расхождения возводятся в квадрат, нормируются и суммируются в одну статистику с известным распределением.

Критерий хи-квадрат Пирсона — статистический тест согласия: он проверяет, похожи ли наблюдаемые частоты на те, что предсказывает гипотеза. Данные группируются по категориям, для каждой считается ожидаемая частота, затем все расхождения сворачиваются в одну статистику. Два главных применения: проверка закона распределения (честен ли кубик, следует ли выборка заданному закону) и тест независимости двух признаков — связан ли пол с выбором напитка, курение с заболеванием.

Идея меры: каждая категория вносит вклад $\frac{( O - E ) ^{2}}{E}$ — квадрат отклонения, нормированный на ожидание. Отклонение в редкой категории весит больше, чем в частой, и это честно: три лишних человека в маленькой группе значат больше, чем три в большой. Если сумма вкладов велика, гипотеза становится неправдоподобной. При верной нулевой гипотезе статистика имеет распределение хи-квадрат, критические точки которого затабулированы по числу степеней свободы — сравнение с ними и даёт вердикт.

χ^{2} = i = 1 \sum k \frac{( O _{i} - E _{i} ) ^{2}}{E _{i}}, df = k - 1 - r

O_{i}

— наблюдаемые частоты,

E_{i}

— ожидаемые,

k

— число категорий;

r

— число параметров, оценённых по той же выборке (для готовой гипотезы

r = 0

)

Пример: кубик бросили 60 раз, при честности ждём $E = 10$ на каждую грань. Наблюдения: 8, 12, 9, 11, 10, 10. Квадраты отклонений: 4, 4, 1, 1, 0, 0 — сумма 10, делим на 10: $χ^{2} = 1.0$ . Степеней свободы $k - 1 = 5$ , критическое значение при уровне значимости 0.05 — 11.07. Статистика много меньше порога: данных, чтобы обвинить кубик, нет, гипотеза не отвергается. А вот сумма 18 уже перешагнула бы порог — вывод стал бы обратным при тех же гранях.

Полный протокол тестирования — урок проверка гипотез, откуда берутся ожидаемые частоты — выборка и оценки. Словарь темы: нулевая гипотеза, нормальное распределение — эталон, с которым чаще всего сравнивают, дисперсия — мера разброса. Формулы и таблицы критических точек — в шпаргалке по статистике.

Частые вопросы

Чем тест согласия отличается от теста независимости?

В тесте согласия одна выборка сравнивается с готовым законом: ожидаемые частоты считаются прямо из него. В тесте независимости данные лежат в таблице сопряжённости, ожидаемые частоты считаются произведением итогов по строкам и столбцам, а степени свободы равны $(r - 1) (c - 1)$ .

Что означает слишком маленькое значение хи-квадрат?

Что наблюдаемые почти идеально совпали с ожидаемыми. Для настоящих случайных данных это допустимо, но подозрительно ровные частоты — признак подгонки: классический пример — данные Менделя, которые Фишер проверил и нашёл слишком хорошими для живого эксперимента.