🎲 Тервер

Состоятельная оценка

Q: Чем состоятельность отличается от несмещённости?

Несмещённость — про каждую выборку: $E\hat\theta = \theta$ при любом $n$. Состоятельность — про предел: оценка догоняет истину, когда данных много. Возможны все комбинации: несмещённая, но несостоятельная (смещения нет, а разброс не гаснет); состоятельная, но смещённая — классическая дисперсия с делителем $n$, чьё смещение $-\sigma^2/n$ исчезает в пределе. Для практики состоятельность жёстче: небольшое смещение лечится поправкой, а отсутствие сходимости — приговор методу.

англ. Consistent estimator

Оценка, которая при росте выборки сходится по вероятности к параметру: P(|θ̂ₙ − θ| ≥ ε) → 0. Асимптотический минимум качества: данные копятся — промахи исчезают, а не накапливаются.

Выборки бывают разные, и хочется гарантии: с ростом $n$ оценка догоняет истину. Состоятельная оценка — та, для которой $\hat{θ}_{n} \to θ$ по вероятности: при любом $ε > 0$ вероятность $P (∣ \hat{θ}_{n} - θ ∣ \geq ε)$ стремится к нулю. Заявление о пределе: при малых $n$ состоятельная оценка может быть смещённой и шумной — лишь бы шум умирал с данными. Примеры: $\overset{ˉ}{X}$ состоятелен для $μ$ по закону больших чисел, исправленная дисперсия $S^{2}$ состоятельна для $σ^{2}$ . Фундамент сходимости — в уроке закон больших чисел, критерии оценок — в уроке выборка и оценки.

Проверять сходимость напрямую муторно, поэтому пользуются достаточным условием: если смещение стремится к нулю и дисперсия оценки стремится к нулю, оценка состоятельна — через неравенство Чебышёва $M S E \to 0$ тянет за собой сходимость. Счёт для среднего: смещение ноль, дисперсия $σ^{2} / n \to 0$ , значит, состоятельно, а типичная ошибка сжимается как $σ / n$ : удвоение точности — учетверение данных. Контрпример — распределение Коши: у него нет ни матожидания, ни дисперсии, выборочное среднее не сходится ни к чему, и усреднение не спасает — не всякая «очевидная» оценка состоятельна.

\forall ε > 0 : P (∣ \hat{θ}_{n} - θ ∣ \geq ε) n \to \infty 0, bias \to 0, D \hat{θ}_{n} \to 0 \Rightarrow \hat{θ}_{n} P θ

состоятельность: вероятность заметного промаха гаснет с ростом выборки; достаточное условие — убыль смещения и дисперсии

Частые вопросы

Чем состоятельность отличается от несмещённости?

Несмещённость — про каждую выборку: $E \hat{θ} = θ$ при любом $n$ . Состоятельность — про предел: оценка догоняет истину, когда данных много. Возможны все комбинации: несмещённая, но несостоятельная (смещения нет, а разброс не гаснет); состоятельная, но смещённая — классическая дисперсия с делителем $n$ , чьё смещение $- σ^{2} / n$ исчезает в пределе. Для практики состоятельность жёстче: небольшое смещение лечится поправкой, а отсутствие сходимости — приговор методу.

Сколько нужно данных для заданной точности?

Состоятельность говорит «сойдётся», но не «когда» — конкретику даёт асимптотика: у средних ошибка порядка $σ / n$ , поэтому десятикратное уточнение требует стократной выборки. Прикидка по правилу трёх сигм: чтобы гарантировать ошибку не больше $Δ$ с вероятностью $99, 7%$ , нужно $n \geq (3 σ /Δ)^{2}$ . Для $σ = 5$ г и допуска $0, 5$ г это $900$ деталей. Планирование выборки — та же формула задом наперёд: от требуемой точности к объёму.