Закон больших чисел и ЦПТ: почему среднее работает

Одна монета — сплошной каприз: орёл или решка, не угадаете. Десять тысяч монет — почти железная предсказуемость: орлов будет около половины, и отклонение больше чем на процент случится редко. Казино и страховая компания живут именно на этом эффекте: отдельная ставка — рулетка, поток ставок — бухгалтерия. Два теоретических столпа, на которых держится превращение хаоса в порядок, — закон больших чисел и центральная предельная теорема. Разберём оба, начиная с подготовительного инструмента — неравенства Чебышёва.

Неравенство Чебышёва: универсальный предохранитель#

Пусть у случайной величины $X$ известны ожидание $M(X)$ и дисперсия $D(X)$ — и больше ничего. Что можно сказать о вероятности большого отклонения? Оказывается, немало:

Читается так: шанс отклониться от среднего больше чем на $\epsilon$ не превышает дисперсии, поделённой на квадрат порога. Никаких предположений о форме распределения — работает для любой величины с конечной дисперсией. Ценой универсальности служит грубость: оценка консервативна, реальная вероятность обычно много меньше.

Проверим на кубике. $D(X)=35/12\approx 2,92$. Порог $\epsilon =2$: граница $\frac{2,92}{4}\approx 0,73$. А теперь посчитаем честно: отклонение $|X-3,5|\ge 2$ означает выпадение $1,2,5,6$ — четыре случая из шести, то есть $2/3\approx 0,67$. Граница Чебышёва (0,73) не нарушена и при этом почти точна — редкая удача. Возьмите $\epsilon =5$: граница станет $2,92/25\approx 0,117$, хотя реальная вероятность ноль. Вот так выглядит «грубая, но честная» оценка: сверху врёт, снизу не подводит.

Закон больших чисел#

Теперь главное построение. Пусть $X_1,X_2,\dots ,X_n$ — независимые величины с одинаковыми $M(X)=\mu$ и дисперсией $D(X)={\sigma }^2$. Составим среднее арифметическое ${\bar{X}}_n=\frac{X_1+\cdots +X_n}{n}$. По линейности ожидания $M({\bar{X}}_n)=\mu$. А дисперсия среднего падает: $D({\bar{X}}_n)=\frac{{\sigma }^2}{n}$ — усреднение гасит разброс. Подставляем в Чебышёва:

Правая часть стремится к нулю при любом фиксированном $\epsilon >0$. Это закон больших чисел в форме Чебышёва: с ростом числа испытаний среднее арифметическое сближается с теоретическим ожиданием — не потому, что «случайность иссякает», а потому, что ошибки в обе стороны гасят друг друга. Сходимость здесь особого рода, «по вероятности»: гарантируется не точное равенство, а исчезающая малость шанса большого отклонения.

Частный случай — схема Бернулли: $X_i$ равны единице при успехе и нулю при неуспехе, тогда ${\bar{X}}_n=m/n$ — частота успехов, $\mu =p$, ${\sigma }^2=pq$. Получается закон больших чисел Бернулли: частота события сближается с его вероятностью. Именно это наблюдает симулятор Монте-Карло: столбики частот прилипают к теоретическим меткам. Формула Бернулли — исторически первый ЗБЧ, доказанный в «Искусстве предположений» ещё в 1713 году.

Центральная предельная теорема#

ЗБЧ говорит, куда идёт среднее. ЦПТ добавляет: как оно распределено по дороге. При тех же условиях — независимость, одинаковые $\mu$ и ${\sigma }^2$ — нормированная сумма:

Иными словами, при большом $n$ среднее арифметическое ведёт себя как нормальная величина с центром $\mu$ и сигмой $\sigma /\sqrt{n}$ — колокол из урока о нормальном распределении. Форма исходных величин не важна: кубик, монета, показательное время — на выходе колокол. Диковато? Но именно поэтому гауссова кривая повсюду: она — универсальная форма сумм и средних.

Посчитаем. Бросают $100$ кубиков, $S$ — сумма очков. Ожидание суммы $M(S)=100\cdot 3,5=350$; дисперсия $D(S)=100\cdot \frac{35}{12}\approx 291,7$, сигма $\approx 17,1$. Какова вероятность попасть в отрезок $[330,370]$? Это отклонение на $20$ в обе стороны, то есть $20/17,1\approx 1,17$ сигмы. Нормальное приближение: $2\Phi (1,17)-1\approx 2\cdot 0,879-1=0,758$. Почти три шанса из четырёх.

Чебышёв в деле: прикидка для частоты#

Закрепим неравенство Чебышёва расчётом, который часто встречается в задачниках: сколько бросков монеты нужно, чтобы частота орла отклонялась от 0,5 не более чем на 0,05 с надёжностью 99%? Ответ считаем по шагам.

Проверка ЦПТ-числа: при $n=2200$ сигма частоты равна $\sqrt{0,25/2200}\approx 0,0107$, порог $0,05$ — это $0,05/0,0107\approx 4,7$ сигмы. Хвост нормального распределения за четыре с половиной сигмами уже пренебрежимо мал — вот откуда экономия. Мораль: Чебышёв даёт гарантию без модели, ЦПТ — точную цену при нормальности. Умение выбрать инструмент — половина культуры решения.

ЗБЧ часто читают неверно, и на этом неверном чтении стоит целая индустрия заблуждений. После шести орлов подряд интуиция требует решку: «по закону средних монета обязана выровняться». Монета ничего не обязана: у неё нет памяти, вероятность орла в седьмом броске — прежние $0,5$. Закон больших чисел говорит о частоте на большом горизонте, а не о том, что короткая серия должна «исправиться». Даже наоборот: на длинном горизонте вклад этих шести орлов растворится в тысячах новых бросков без всякой компенсации.

1. 1
   Сигма частоты орла: $\sqrt{pq/n}=\sqrt{0,25/n}$.
2. 2
   При $n=100$: сигма $=0,05$ — частота гуляет в пределах плюс-минус пяти пунктов.
3. 3
   При $n=10000$: сигма $=0,005$ — те же колебания в десять раз теснее.
4. 4
   Чтобы частота стала точнее вдвое, бросков нужно вчетверо больше — корень съедает старание.

• Чебышёв — про «не больше», ЦПТ — про «примерно нормально», ЗБЧ — про «сходится».
• Усреднение делит дисперсию на $n$; сигма среднего — $\sigma /\sqrt{n}$.
• Точнее вдвое — данных вчетверо больше. Планируйте объём заранее.
• Короткая серия — широкий размах возможных частот; не судите систему по десяти испытаниям.

Насколько короткая серия обманчива, видно из чисел. При $n=100$ сигма частоты — $0,05$, поэтому серия с шестьюдесятью орлами уходит от идеала всего на две сигмы — такие серии случаются примерно в 5% случаев. Это не поломка ЗБЧ, а его нормальная работа: теорема обещает сближение частоты и вероятности на больших $n$, а не угадывание числа орлов в каждой сотне.