Метод наименьших квадратов

Эксперимент дал точки, и точки упрямо не ложатся на прямую — измерения всегда шумят. Но «на глазок» провести прямую — не аргумент, нужен критерий, чья прямая лучше. Метод наименьших квадратов (МНК) предлагает: выбирай ту прямую $y=a+bx$, у которой сумма квадратов вертикальных отклонений точек минимальна. Квадраты — не каприз: с ними функция гладкая и минимизируется производными, а модуль создаёт излом и всю технику ломает.

Минимизируем честно: две частные производные, приравниваем каждую к нулю — и система нормальных уравнений распадается в готовые формулы: $b=\frac{\sum (x_i-\bar{x})(y_i-\bar{y})}{\sum (x_i-\bar{x}{)}^2}$, $a=\bar{y}-b\bar{x}$. Числитель — выборочная ковариация x и y, знаменатель — разброс x. Из формулы для a видно, что прямая МНК всегда проходит через центр масс точек $(\bar{x},\bar{y})$. Проверяем на пятёрке точек (1, 2), (2, 3), (3, 5), (4, 4), (5, 6): $\bar{x}=3$, $\bar{y}=4$, числитель 9, знаменатель 10, значит $b=0.9$, $a=1.3$ и прямая $\hat{y}=1.3+0.9x$.

Насколько хороша подгонка? Отвечает коэффициент детерминации $R^2$ — доля разброса y, которую объясняет прямая. Для парной регрессии есть короткий мостик: $R^2=r^2$, квадрат коэффициента корреляции. В нашем примере $r=0.9$, значит $R^2=0.81$: прямая съела 81% разброса, остатки (от −0.9 до +1) отвечают за оставшиеся 19%. Контрольная проверка любого МНК-решения: сумма остатков равна нулю — у нас $-0.2-0.1+1-0.9+0.2=0$, прямая честно висит на точках.

История солидная: Лежандр опубликовал метод в 1805-м, Гаусс утверждал, что пользовался им с 1795-го — и переизобрёл его для восстановления орбиты астероида Цереры по обрывочным наблюдениям. Сегодня МНК — рабочая лошадка эконометрики, обработки измерений и машинного обучения: линейная регрессия — «hello world» всех моделей. Дальше то же уравнение живёт в многомерном варианте: урок корреляция и регрессия считает его на живых данных, оценки по выборке — в уроке выборка и оценки, все формулы — в шпаргалке по статистике и гипотезам.