🎲 Тервер

Несмещённая оценка

англ. Unbiased estimator

Оценка без систематической ошибки: E[θ̂] = θ. В среднем по многим выборкам такая оценка попадает в параметр, хотя каждая отдельная может промахиваться в любую сторону.

Оценка — функция от случайной выборки, значит, сама случайна и ошибается. Вопрос — куда: вокруг цели или систематически в сторону? Несмещённая оценка — та, чьё матожидание равно оцениваемому параметру: $E [\hat{θ}] = θ$ . Аналогия со стрельбой: несмещённый стрелок кладёт пули вокруг центра мишени, смещённый стабильно бьёт левее — усреднение его не лечит. Классика: выборочное среднее $\overset{ˉ}{X}$ несмещённо для $μ$ , а дисперсия с делителем $n$ смещена вниз и лечится делителем $n - 1$ . Критерии качества оценок собраны в уроке выборка и оценки.

Но несмещённость — не вся правда об оценке. Она может быть несмещённой и при этом бестолковой из-за гигантского разброса; слегка смещённая при малой дисперсии бывает точнее по среднему квадрату ошибки $M S E = D \hat{θ} + (bias)^{2}$ . Пример из нормальной теории: оценка дисперсии с делителем $n + 1$ уже смещена, но по $M S E$ обгоняет исправленную $S^{2}$ . Прагматика такая: несмещённость — желательный стартовый минимум, а финальный выбор делает баланс смещения и дисперсии. Сам механизм усреднения, на котором держится определение, — в статье матожидание.

E [\hat{θ}] = θ, bias (\hat{θ}) = E [\hat{θ}] - θ, M S E = D \hat{θ} + bias^{2}

несмещённость и её цена: средний квадрат ошибки складывается из дисперсии оценки и квадрата смещения

Частые вопросы

Приведите пример смещённой оценки.

Весы, которые всегда завышают на два грамма: какое среднее ни считай, систематическая двойка остаётся. Статистическая классика — дисперсия с делителем $n$ : $E [D] = \frac{n - 1}{n} σ^{2}$ , занижение на долю $1/ n$ ; при пяти деталях это двадцать процентов — вы стабильно недооцениваете разброс процесса. Ещё пример: максимум выборки как оценка верхней границы всегда не больше истинного значения — смещение вниз по построению, и никакие данные его не исправят.

Нужно ли всегда добиваться несмещённости?

Нет. Иногда несмещённой оценки в разумном классе нет, иногда она абсурдна: для величины $e^{- λ}$ пуассоновского потока несмещённая оценка существует, но принимает значения $0$ или $1$ — почти всегда ноль, пользоваться этим жутковато. Рабочий критерий — $M S E$ : чуть смещённая, но резко более устойчивая оценка часто выигрывает. Регуляризация в машинном обучении — сознательная плата смещением за устойчивость. Несмещённость — добродетель, а не догма.