🎲 Тервер

Коэффициент детерминации R²

Q: Высокий R² — признак хорошей модели?

Не обязательно. $R^2$ молчит о причинности, не замечает неверную форму зависимости — параболу можно промахнуться прямой с приличным значением — и растёт от любого добавленного фактора. Диагностика: смотреть остатки (нет ли полок и воронки), проверять значимость коэффициентов, сравнивать модели по скорректированному $\bar{R}^2$. Уровень «хорошести» задаёт предметная область: в физических опытах $R^2 = 0{,}99$ — норма, в маркетинговых данных $0{,}3$ — уже полезный сигнал.

Q: Зачем нужен скорректированный R²?

Обычный $R^2$ монотонно растёт с числом регрессоров: включите «номер дня недели в квадрате» — он не упадёт ни на йоту. Скорректированная версия $\bar{R}^2 = 1 - (1 - R^2)\frac{n - 1}{n - k - 1}$ штрафует за каждый лишний параметр $k$ и может снижаться при добавлении балласта — это честный арбитр между моделями разной сложности. При больших $n$ поправка исчезает, при малых выборках она существенна. Для прогнозных задач вместо неё чаще применяют кросс-валидацию, но как быстрый фильтр переусложнения скорректированный $R^2$ незаменим.

англ. Coefficient of determination

Доля разброса отклика, объяснённая моделью: R² = 1 − SS_ост/SS_общ. R² = 0,8 значит, что модель забрала 80% изменчивости данных, а 20% остались в остатках.

Провели прямую через точки — насколько она что-то объясняет? Коэффициент детерминации $R^{2}$ отвечает долей: $R^{2} = 1 - S S_{ост} / S S_{общ}$ , где $S S_{общ} = \sum (y_{i} - \overset{y}{ˉ})^{2}$ — полный разброс отклика, $S S_{ост} = \sum (y_{i} - \overset{y}{^}_{i})^{2}$ — нераскрытый остаток. $R^{2} = 0, 85$ : восемьдесят пять процентов изменчивости объяснено моделью, пятнадцать — шумом и неучтёнными факторами. В парной регрессии $R^{2}$ совпадает с квадратом коэффициента корреляции: $r = 0, 9$ даёт $R^{2} = 0, 81$ . Диапазон от нуля (прогноз средним не хуже прямой) до единицы (идеальная посадка). Связь с корреляцией — в статье коэффициент корреляции, практикум — в уроке корреляция и регрессия.

Считаем на данных из уравнения регрессии: $y$ : $10, 12, 13, 17, 18$ , $\overset{y}{ˉ} = 14$ , прогнозы по прямой $\overset{y}{^} = 7, 7 + 2, 1 x$ : $9, 8; 11, 9; 14, 0; 16, 1; 18, 2$ . Полный разброс $S S_{общ} = 16 + 4 + 1 + 9 + 16 = 46$ ; остатки $0, 2; 0, 1; - 1, 0; 0, 9; - 0, 2$ дают $S S_{ост} = 1, 9$ . Итого $R^{2} = 1 - 1, 9/46 \approx 0, 96$ : модель схватила девяносто шесть процентов разброса продаж. Гнаться за единицей вслепую не стоит: в множественной регрессии любой добавленный фактор не снижает $R^{2}$ , даже бессмысленный, — для сравнения моделей используют скорректированную версию со штрафом за параметры.

R^{2} = 1 - \frac{\sum ( y _{i} - y ^ _{i} ) ^{2}}{\sum ( y _{i} - y ˉ ) ^{2}} = 1 - \frac{S S _{ост}}{S S _{общ}}, R^{2} = r^{2} (парная регрессия)

доля объяснённого разброса; в парной модели совпадает с квадратом корреляции, в множественной требует поправки на число факторов

Частые вопросы

Высокий R² — признак хорошей модели?

Не обязательно. $R^{2}$ молчит о причинности, не замечает неверную форму зависимости — параболу можно промахнуться прямой с приличным значением — и растёт от любого добавленного фактора. Диагностика: смотреть остатки (нет ли полок и воронки), проверять значимость коэффициентов, сравнивать модели по скорректированному $\overset{ˉ}{R}^{2}$ . Уровень «хорошести» задаёт предметная область: в физических опытах $R^{2} = 0, 99$ — норма, в маркетинговых данных $0, 3$ — уже полезный сигнал.

Зачем нужен скорректированный R²?

Обычный $R^{2}$ монотонно растёт с числом регрессоров: включите «номер дня недели в квадрате» — он не упадёт ни на йоту. Скорректированная версия $\overset{ˉ}{R}^{2} = 1 - (1 - R^{2}) \frac{n - 1}{n - k - 1}$ штрафует за каждый лишний параметр $k$ и может снижаться при добавлении балласта — это честный арбитр между моделями разной сложности. При больших $n$ поправка исчезает, при малых выборках она существенна. Для прогнозных задач вместо неё чаще применяют кросс-валидацию, но как быстрый фильтр переусложнения скорректированный $R^{2}$ незаменим.