Как решать задачи на регрессию и МНК: алгоритм с примером

Контрольная по статистике: таблица из пяти строк — часы подготовки и балл теста, а в вопросе — «оцените зависимость и предскажите балл студента, который готовился 10 часов». Пять точек просят провести прямую, слово «МНК» вспоминается, а вот порядок действий и проверки в памяти рыхлые. Здесь они собраны в один маршрут: от сумм до уравнения, от уравнения до R², от R² до прогноза с честными оговорками. Теоретический фундамент — в уроке корреляция и регрессия.

Сразу договоримся о словах. Корреляция измеряет силу связи — одно число от −1 до 1. Регрессия даёт правило предсказания: подставь x — получи ожидаемый y. Связка такая: $r=S_{xy}/\sqrt{S_{xx}{S}_{yy}}$ — про тесноту, $b_1=S_{xy}/S_{xx}$ — про наклон. У корреляции нет направления, у регрессии есть: предсказывать балл по часам и часы по баллу — разные модели с разными коэффициентами. О тесноте связи — в термине коэффициент корреляции, о совместном разбросе — ковариация.

Откуда берутся формулы МНК и что они минимизируют?#

Метод наименьших квадратов выбирает прямую с минимальной суммой квадратов вертикальных отклонений точек: $S(a,b)=\sum (y_i-a-b{x}_i{)}^2\to \min$. Приравниваем нулю частные производные по a и b — техника из урока о частных производных и градиенте — и получаем систему двух линейных уравнений. Её решение и есть рабочие формулы:

Знаменатель $S_{xx}$ положителен всегда, кроме вырожденного случая «все x одинаковые» — там регрессии не существует. Бесплатная проверка $b_0$: подставьте $\bar{x}$ — получите $\bar{y}$. Не получилось — где-то потерян знак. Численные тонкости метода и его матричную реализацию мы разбираем ещё и в уроке численных методов и в термине метод наименьших квадратов.

Почему именно квадраты, а не модули отклонений? Причин две. Квадратичная функция гладкая: производные существуют всюду, минимум находится приравниванием их к нулю, а с модулем на каждом изломе пришлось бы перебирать случаи. И квадраты штрафуют крупные промахи сильнее мелких: точка, отклонившаяся вдвое, влияет вчетверо. Цена за удобство — чувствительность к выбросам, о ней ниже, в FAQ. Метод восходит к Гауссу и Лежандру, а его статистическое обоснование опирается на нормальность шума.

Сквозной пример: пять точек от таблицы до прогноза#

Данные и все нужные произведения удобно собрать в одну таблицу — это половина всей работы:

1. 1
   Средние: $\bar{x}=25/5=5$ часов, $\bar{y}=325/5=65$ баллов.
2. 2
   Наклон: $b_1=S_{xy}/S_{xx}=120/40=3$ балла за час подготовки.
3. 3
   Свободный член: $b_0=\bar{y}-b_1\bar{x}=65-3\cdot 5=50$.
4. 4
   Уравнение: $\hat{y}=50+3x$. Проверка точкой средних: $50+3\cdot 5=65$ — сошлось.
5. 5
   Предсказания $\hat{y}=(53;59;65;71;77)$, остатки $y-\hat{y}=(-1;2;0;-2;1)$. Сумма остатков равна нулю — вторая проверка.
6. 6
   Ошибка подгонки: $SSE=1+4+0+4+1=10$.

Полный разброс баллов вокруг среднего: $SST=S_{yy}=370$. Модель объяснила $SST-SSE=360$, и доля объяснённого разброса —

Оговорка о размере выборки: пять точек минус два оценённых параметра — всего три степени свободы на ошибку. R² на маленьких выборках смещён вверх: даже чистый шум при пяти точках и одном факторе даёт в среднем около 0,25 объяснённого разброса. Поэтому заявленный 0,973 — характеристика этой пятёрки, а не гарантия; на сотне точек с тем же шумом то же значение было бы куда более весомым.

Интерпретация на словах. $b_1=3$: каждый дополнительный час подготовки в среднем добавляет три балла. $b_0=50$: ожидаемый балл при нуле часов, то есть базовый уровень знаний. Тонкость: ноль часов в данных не встречался — минимум x равен 1, так что $b_0$ сам по себе лёгкая экстраполяция, и опираться на него стоит меньше, чем на наклон. И главное: обе цифры — средние тенденции по этой выборке, а не закон природы; пять точек не доказывают причинность, они её только подсказывают.

Чем прогноз при x = 10 отличается от прогноза при x = 15?#

Прогноз — это подстановка: $\hat{y}(10)=50+3\cdot 10=80$ баллов. Но взгляните на диапазон данных: x менялся от 1 до 9, значит x = 10 — уже экстраполяция, выход за наблюдённую зону на один шаг. Один шаг — терпимо: линия на графике прямая, остатки крошечные, и прогноз 80 обоснован — с оговоркой, что это ожидание, а не обещание.

Зачем МНК матричная запись со столбцом единиц?#

Свободный член можно приравнять к обычному коэффициенту, если добавить фиктивный регрессор $X_0=1$: модель $y=b_0{X}_0+b_{1}x$ превращается в $\hat{y}=X\beta$, где каждый столбец матрицы X — свой фактор. Все коэффициенты становятся равноправными, и парная регрессия оказывается частным случаем одной матричной формулы:

1. 1
   Собираем суммы: $n=5$, $\sum x=25$, $\sum x^2=165$ — отсюда $X^{T}X=\left(\begin{array}{cc}5& 25\\ 25& 165\end{array}\right)$.
2. 2
   Правая часть: $\sum y=325$, $\sum xy=1745$, то есть $X^{T}y=(325;1745)$.
3. 3
   Нормальные уравнения: $5b_0+25b_1=325$ и $25b_0+165b_1=1745$; определитель $\Delta =5\cdot 165-25^2=200$.
4. 4
   По Крамеру: $b_0=(325\cdot 165-25\cdot 1745)/200=10000/200=50$ и $b_1=(5\cdot 1745-25\cdot 325)/200=600/200=3$ — совпало с парными формулами, как и обязано.

Смысл затеи не в пересчёте того же ответа, а в масштабировании: добавили столбец — модель стала множественной, механика не изменилась. Как решать такие задачи с двумя и более факторами — в уроке множественная регрессия; там же объяснено, почему при многих факторах R² перестаёт быть главным судьёй. Определители и действия с матрицами, если подзабылись, — в уроках определители и матрицы и операции, а сам приём решения систем — в термине система линейных уравнений.

Где матричная запись спасает жизнь — проверка вырожденности. Определитель $X^{T}X$ равен 200: ненулевой, система решается однозначно. А если бы столбцы X оказались пропорциональны — скажем, кто-то продублировал часы, переведённые в минуты, — определитель обнулился бы, обратной матрицы не существует, коэффициенты неопределимы. Это мультиколлинеарность, главный враг множественной регрессии. Парная модель защищена сама по себе: столбец единиц и столбец часов пропорциональными не бывают.

Как читать R² и где проходят его границы?#

R² — доля объяснённого разброса, но «хорошее» значение зависит от области: шум социальных данных и шум физического эксперимента — разные шумы. Ориентиры:

Три честные оговорки. R² ничего не говорит о причинности: высокая доля объяснённого разброса совместима со скрытым третьим фактором. R² молчит о прогнозе за пределами данных — предупреждение из прошлого раздела никуда не делось. И в парной модели R² — просто квадрат корреляции: $0,973=0,986^2$, никакого отдельного волшебства.

1. 1
   Нанесите точки на плоскость: глаз ловит кривизну и выбросы раньше любой формулы.
2. 2
   Посчитайте суммы $\sum x$, $\sum y$, $\sum x^2$, $\sum xy$ и средние; убедитесь, что суммы отклонений от средних равны нулю.
3. 3
   Найдите $S_{xy}$ и $S_{xx}$; наклон $b_1=S_{xy}/S_{xx}$, свободный член $b_0=\bar{y}-b_1\bar{x}$.
4. 4
   Проверки: прямая проходит через $(\bar{x};\bar{y})$, сумма остатков равна нулю.
5. 5
   Качество: $SSE$ по остаткам, $SST=S_{yy}$, $R^2=1-SSE/SST$.
6. 6
   Прогноз подстановкой в уравнение; отдельно скажите, лежит ли точка внутри диапазона данных.
7. 7
   Вывод словами: смысл $b_1$ и $b_0$, размер R², оговорки про причинность и диапазон.

Куда дальше: следующий шаг — взять любые пять точек из жизни (цена кофе по дням, шаги по часам) и пройти маршрут целиком. Формулы — в шпаргалке по статистике и гипотезам, матричная техника — в разборе матриц и определителей, задачи с решениями — в разделе вероятности. Если точки легли не по прямой, а по красивой кривой, — это уже вопрос к интерполяции против аппроксимации. А когда факторов станет несколько или данные распадутся на группы, открывайте дисперсионный анализ: там тот же МНК работает на сравнение средних.