Корреляция и регрессия: коэффициент Пирсона и линия тренда

Рост человека и размер его обуви идут в ногу: длиннее человек — больше нога. Число мороженого, съеденного за день в городе, и число утоплений коррелируют ещё сильнее — но запрет мороженого ни одного пловца не спасёт. Между «величины движутся вместе» и «одна величина двигает другую» лежит пропасть, и весь этот урок — про два инструмента, которые эту разницу не дают стереть: коэффициент корреляции и уравнение регрессии.

Коэффициент корреляции: связь в одном числе#

Пусть по $n$ объектам измерены две величины: $(x_1,y_1),\dots ,(x_n,y_n)$ — скажем, часы подготовки и балл за экзамен. Идея Пирсона проста: если величины связаны, отклонения от своих средних должны совпадать по знаку — кто выше среднего по часам, тот чаще выше среднего по баллам. Складываем произведения отклонений и нормируем на разбросы обеих величин:

Числитель — родня ковариации: он положителен, когда величины растут вместе, отрицателен, когда одна растёт при падении другой. Знаменатель — произведение разбросов, тот самый нормировщик, который прижимает результат в коридор от $-1$ до $1$: значения $\pm 1$ означают точную прямую зависимость, $0$ — отсутствие линейной связи. Промежуточные значения трактуют по силе: около $0,3$ — слабая, около $0,5$ — умеренная, ближе к $0,7$ и выше — сильная. Разброс самих величин при этом измеряется дисперсией — тут вся та же механика, что и в обычной статистике.

Считаем: $r=\frac{6}{\sqrt{10\cdot 6}}=\frac{6}{\sqrt{60}}=\frac{6}{7,746}\approx 0,77$. Связь сильная и положительная. Заметьте, что масштаб данных не важен: переведите часы в минуты, а баллы в проценты — $r$ не изменится, потому что знаменатель нормирует всё сам. В этом и прелесть коэффициента: одно число, не зависящее от единиц измерения.

Корреляция — не причина#

Коэффициент отвечает строго на один вопрос: «насколько тесно величины движутся вместе». Он молчит о том, кто кого двигает. У мороженого и утоплений есть третий участник — жара: в жару и мороженого едят больше, и в воду лезут чаще, поэтому обе величины синхронно взлетают. Такой скрытый общий фактор называют мешающей переменной, и он — самая частая причина ложных открытий: от «кофе продлевает жизнь» (здоровые люди просто больше выходят из дома за кофе) до «врачи опасны для здоровья» (к людям, которые уже больны, врачей вызывают чаще).

Вторая ловушка — направленность: даже настоящая сильная связь не говорит, что $x$ двигает $y$. Продажи зонтов коррелируют с открытием зонта над головой — но зонты не открывают дождь. Третья — малые выборки: на пяти точках $r=0,77$, как в примере выше, ещё ни о чём убедительном не говорит, случайный шум легко выдаёт такую величину. Ниже, в разделе о значимости, мы проверим это честно.

Линейная регрессия: метод наименьших квадратов#

Корреляция констатирует связь; регрессия её использует: по значению $x$ предсказать $y$. Ищем прямую $\hat{y}=a+bx$, где шапка над $y$ отличает предсказание от факта. Критерий качества — метод наименьших квадратов (МНК): подбираем $a$ и $b$ так, чтобы сумма квадратов вертикальных отклонений точек от прямой была минимальна. Дифференцирование даёт готовый рецепт:

Для нашей таблицы: $b=6/10=0,6$, $a=4-0,6\cdot 3=2,2$. Уравнение: $\hat{y}=2,2+0,6x$. Читается так: с каждым дополнительным часом подготовки балл в среднем растёт на 0,6; ноль часов обещает 2,2 балла. Предсказание для $x=6$: $2,2+0,6\cdot 6=5,8$. Обратите внимание: прямая всегда проходит через точку $(\bar{x},\bar{y})$ — центр облака точек, и прогноз за пределами наблюдавшихся значений $x$ — рискованная экстраполяция.

Между $r$ и $b$ есть точная связь: $b=r\cdot \frac{s_y}{s_x}$ — наклон равен корреляции, умноженной на отношение стандартных отклонений. Проверим на числах: $s_x=\sqrt{10/5}=1,41$, $s_y=\sqrt{6/5}=1,09$, и $0,7746\cdot 1,09/1,41=0,6$ — сходится. А величина $r^2$ имеет собственное имя — коэффициент детерминации: она показывает, какую долю разброса $y$ объясняет регрессия. У нас $r^2=0,6$: шестьдесят процентов изменчивости баллов связаны с часами подготовки, остальные сорок — с чем-то ещё (талант, сон, лотерея формулировок).

Прямая, найденная МНК, обладает одним элегантным свойством: сумма остатков — расхождений между фактом и предсказанием — равна нулю. Проверьте: предсказания $2,8$, $3,4$, $4,0$, $4,6$, $5,2$, факты $2$, $4$, $5$, $4$, $5$, остатки $-0,8$, $0,6$, $1,0$, $-0,6$, $-0,2$, и их сумма действительно нулевая. Геометрически это значит, что прямая сбалансирована относительно облака точек: выше неё и ниже неё остаётся поровну суммарного отклонения. Именно поэтому предсказание при $x=\bar{x}$ всегда совпадает с $\bar{y}$ — лучшая догадка без всякой информации о x есть среднее.

Отдельный разговор — выбросы. Коэффициент Пирсона и наклон МНК считаются по квадратам отклонений, а квадраты беспощадны к аномалиям: одна точка, сорвавшаяся с общего строя, способна повернуть прямую и утопить связь из девяти остальных. Прежде чем доверять числам, постройте диаграмму рассеяния и проверьте, не тянет ли одинокая точка всю линию за собой; при подозрении пересчитайте оценку без неё и посмотрите, как изменился результат — устойчивость к такой проверке ценнее любого показателя блеска.

А значима ли связь? Проверка гипотезой#

Пять точек — мало. Насколько мало, показывает тест: нулевая гипотеза «истинная корреляция равна нулю», статистика $t=r\sqrt{\frac{n-2}{1-r^2}}$ живёт в распределении Стьюдента с $n-2$ степенями свободы. Для наших данных: $t=0,7746\cdot \frac{\sqrt{3}}{\sqrt{0,4}}=\frac{0,7746\cdot 1,732}{0,632}\approx 2,12$. Критическое значение при $\alpha =0,05$ и трёх степенях свободы — $3,182$. Два меньше трёх: даже крепкая на вид корреляция 0,77 на пяти точках не проходит проверку — шум мог нарисовать её сам. Мораль практическая: сообщайте $r$ вместе с объёмом выборки и уровнем значимости, иначе число не интерпретируемо. Полная механика тестов разобрана в уроке о проверке гипотез.

Корреляция и регрессия — естественный финал всего курса: здесь встречаются ожидание и дисперсия из теории случайных величин, выборочные характеристики из урока о выборке и тесты из предыдущего раздела. Если хочется укрепить базу на живых задачах, лучший способ — тренажёр по теории вероятностей.