Как решать задачи на дисперсионный анализ (ANOVA): пример

Завкафедрой собрал три группы по четыре студента: одни готовились к тесту по лекциям, другие — на практикуме, третьи — в смешанном формате. Баллы на руках, вопрос один: метод влияет на результат или разница — случайность? Три t-теста подряд проблему не решают: каждая проверка вносит свой шанс промахнуться, и уже на трёх парах вероятность хоть одной ложной тревоги подскакивает с 5% до $1-0,95^3\approx 14\%$. Для таких вопросов и придуман дисперсионный анализ. Теория и вывод формул — в уроке дисперсионный анализ; здесь — рабочая процедура: от гипотез до проверенного вывода и пост-хока.

Весь разброс баллов можно разрезать на две части: то, что создано различием средних групп, и то, что осталось внутри групп. Первая часть — сигнал, вторая — шум. Отношение сигнала к шуму, каждое слагаемое нормированное своей степенью свободы, и есть F-статистика. Дальше — аккуратный счёт, и почти каждый шаг снабжён встроенной проверкой.

Когда ANOVA применим, а когда нужен другой тест?#

Метод требует четырёх условий, и все они проверяются до вычислений, а не после:

• фактор качественный и имеет три и более уровня — группы, методы, станки, сорта;
• наблюдения независимы: каждый студент попал ровно в одну группу;
• данные внутри групп примерно симметричны — близки к нормальному распределению — или групп достаточно много;
• дисперсии групп близки (гомоскедастичность): грубое правило — наибольшая выборочная дисперсия не превосходит наименьшую в 3–4 раза.

При двух группах ANOVA вырождается в t-тест: F численно равен квадрату t-статистики. Логику отвержения гипотез и работу с порогом α мы расписали в уроке проверка гипотез и в термине нулевая гипотеза. Если условия нарушены — не беда: внизу есть таблица замен (Уэлч, Краскел–Уоллис), а пока идём по канону.

Как записать гипотезы и что именно проверяет F?#

Нулевая гипотеза — все групповые средние равны. Альтернатива — хотя бы одно отличается. В формулировке альтернативы и прячется первая ловушка: не «все различаются», а «хоть один». Два метода могут совпадать между собой, но если третий выбился, H₀ падает целиком.

Проверочный инструмент строится на двух оценках одного и того же шума. Внутригрупповой средний квадрат MSW оценивает шум всегда — это разброс студентов внутри одного метода. Межгрупповой MSB при верной H₀ оценивает тот же шум, а при неверной — раздувается вместе с различием средних. Отношение двух оценок в норме держится около единицы:

Как собрать таблицу сумм квадратов?#

Здесь ${\bar{x}}_i$ — среднее группы i, $\bar{x}$ — общее среднее по всем N наблюдениям, $n_i$ — размер группы. Групповые средние и дисперсии считаются как обычные выборочные характеристики — материал урока выборка и оценки. Общая сумма квадратов складывается из двух частей и служит встроенной проверкой:

Критическое значение берётся из таблицы F-распределения Фишера по паре степеней свободы: $F_{\text{крит}}(\alpha ;k-1;N-k)$. Наблюдаемая F больше критического — H₀ отвергается. Напоминание, на чём всё это стоит: дисперсия — средний квадрат отклонений, см. термин дисперсия.

1. 1
   Проверьте применимость: три и более группы, независимость наблюдений, примерная нормальность, близость дисперсий.
2. 2
   Выпишите $H_0$ и $H_1$, зафиксируйте уровень значимости $\alpha$ — обычно $0,05$.
3. 3
   Посчитайте групповые средние ${\bar{x}}_i$ и общее среднее $\bar{x}$.
4. 4
   Найдите SSB и SSW; проверьте разложение $SST=SSB+SSW$ прямым подсчётом по всем отклонениям.
5. 5
   Степени свободы $(k-1;N-k)$; средние квадраты $MSB=SSB/(k-1)$ и $MSW=SSW/(N-k)$.
6. 6
   Статистика $F=MSB/MSW$; сравните с $F_{\text{крит}}(\alpha ;k-1;N-k)$ из таблицы Фишера.
7. 7
   Если H₀ отвергнута — пост-хок тест Тьюки: какие именно пары средних различаются.
8. 8
   Добавьте размер эффекта ${\eta }^2=SSB/SST$ и сформулируйте вывод словами: что значимо, насколько велико, что это значит практически.

Сквозной пример: три метода, двенадцать студентов#

Вернёмся к вводной задаче. Баллы и групповые средние:

При равных размерах групп общее среднее — обычное среднее трёх чисел: $\bar{x}=(62+68+74)/3=68$.

1. 1
   Межгрупповая часть: $SSB=4\cdot (62-68{)}^2+4\cdot (68-68{)}^2+4\cdot (74-68{)}^2=4\cdot 36+0+4\cdot 36=288$.
2. 2
   Внутригрупповая: лекции $(58-62{)}^2+(60-62{)}^2+(64-62{)}^2+(66-62{)}^2=16+4+4+16=40$; практикум $36+4+16+16=72$; смешанный $25+9+9+25=68$. Итого $SSW=40+72+68=180$.
3. 3
   Проверка: $SST=288+180=468$. Прямой подсчёт всех двенадцати отклонений от 68 даёт по группам $184+72+212=468$ — сошлось.
4. 4
   Степени свободы: между группами $k-1=2$, внутри $N-k=12-3=9$. Средние квадраты: $MSB=288/2=144$, $MSW=180/9=20$.
5. 5
   Статистика: $F=144/20=7,2$. Критическое значение по таблице: $F_{\text{крит}}(0,05;2;9)=4,26$.
6. 6
   Вывод: $7,2>4,26$ — H₀ отвергается. Приближённый p-уровень здесь $\approx 0,014$: при верной H₀ такая или большая F выпадает примерно в 1,4% экспериментов.

Осталось назвать размер эффекта: ${\eta }^2=SSB/SST=288/468\approx 0,62$. Шестьдесят два процента разброса баллов создаётся самим фактом «группы учились по-разному», остальные 38% — индивидуальный шум. Эффект крупный, а не просто формально значимый.

Какие пары различаются: пост-хок Тьюки?#

Отвергнутая H₀ не говорит, какие именно группы выбились. Ответ даёт тест Тьюки: каждая пара средних сравнивается с единым порогом HSD — критерий размаха q, умноженный на корень из MSW, делённого на размер группы. Для трёх групп, девяти степеней свободы и $\alpha =0,05$ критерий q ≈ 3,95:

Честная оговорка: F значим, а значимых пар — всего одна. Тьюки намеренно консервативен: порог 8,83 шире, чем у трёх независимых t-тестов, зато общая вероятность ошибки остаётся на уровне 5% при любом числе сравнений. Интервальный взгляд даёт то же: 95-процентный интервал для разности «смешанный − лекции» — от 3,2 до 20,8 балла, и лишь он не содержит ноль.

Что делать, если что-то пошло не по канону?#

Уэлч и Краскел–Уоллис — не экзотика, а штатные замены. Первый отвечает на тот же вопрос о средних, но устойчив к разным дисперсиям; второй сравнивает распределения по рангам и почти не замечает выбросов. Оба выдают p-уровень, и дальнейшая логика вывода не меняется.

Куда дальше: формулы по всей статистике собраны в шпаргалке по статистике и гипотезам и шпаргалке по теории вероятностей; теория выборочных характеристик — в уроке о выборке и оценках. Конкретный следующий шаг: замените в третьей группе балл 79 на 89 и пересчитайте разложение — SSW вырастет со 180 до 355, F просядет с 7,2 до 5,4, вывод об отличии методов устоит, а η² упадёт с 0,62 до 0,55. Так модель ощущается живой, а не набором букв. Разборы смежных задач — в гайде по вероятности и задачах с решениями; а приём «тот же МНК в другой упаковке» работает в корреляции и регрессии и в сравнении вероятность против статистики.