Центральная предельная теорема: почему всё нормальное

Двадцать взвешиваний одной и той же детали дают двадцать разных чисел: 82,4 г, 82,1 г, 82,7 г… Деталь одна, весы те же — а показания разбегаются. Постройте по этим числам гистограмму, и проступит знакомый силуэт: горб над серединой, плавный спад к краям. Проделайте то же с другими деталями и другими весами — силуэт останется тем же, поменялась лишь ширина. Совпадение? Нет: форму погрешности диктует математика. Погрешность измерения — это сумма многих мелких независимых причин: дрейф температуры, люфт механизма, шум электроники, усталость глаза. А сумма многих мелких независимых случайностей всегда сворачивается в колокол. За этим наблюдением стоит центральная предельная теорема — ЦПТ, главный форматор случайности в теории вероятностей.

Что именно утверждает ЦПТ?#

Пусть $X_1,X_2,\dots ,X_n$ — независимые случайные величины с одинаковым распределением, ожиданием $M(X_i)=\mu$ и дисперсией $D(X_i)={\sigma }^2$ (обе характеристики разбираются в уроке про математическое ожидание и дисперсию). Сложим их: $S_n=X_1+X_2+\cdots +X_n$. Линейность ожидания даёт центр суммы, а дисперсии независимых величин складываются — его размах:

Самое интересное — форма. При больших $n$ она перестаёт зависеть от формы слагаемых. Стандартизуем сумму: вычтем центр и поделим на типичный уклон.

Читаем по частям. Числитель $S_n-n\mu$ — уклонение суммы от её центра. Знаменатель $\sigma \sqrt{n}$ — сигма одного слагаемого, помноженная на корень из числа слагаемых: это и есть типичный размер уклонения. После деления остаётся безразмерная величина с нулевым центром и единичным размахом, и её распределение с ростом $n$ прижимается к колоколу $N(0,1)$. Практическое следствие записывают коротко: при большом $n$ сумма примерно нормальна, $S_n\approx N(n\mu ,n{\sigma }^2)$.

Заметьте, чего в формулировке нет: требований к форме слагаемых. Кубик, показательное время обслуживания, результаты взвешиваний — каждое слагаемое вносит свой узор, но при сложении отклонения в разные стороны гасят друг друга, и на поверхность выплывает универсальная форма. Именно поэтому неважно, из чего складывается погрешность, — важно, что причин много и они независимы.

Чем ЦПТ отличается от закона больших чисел?#

Обе теоремы живут на одной конструкции — сумме независимых слагаемых, но отвечают на разные вопросы. Закон больших чисел говорит, куда идёт среднее арифметическое: к $\mu$, причём колебания вокруг него гаснут. ЦПТ описывает, как распределены эти колебания на конечном $n$: примерно нормально, с сигмой $\sigma /\sqrt{n}$. ЗБЧ — качественное обещание «среднее почти равно ожиданию», ЦПТ — количественный инструмент, позволяющий вычислить вероятность конкретного отклонения.

Отсюда правило выбора инструмента. Нужен факт о пределе — хватит ЗБЧ. Нужно число — шанс, что сумма уйдёт от центра не дальше такого-то интервала, — открываем ЦПТ и таблицу нормального распределения. Более грубый родственник оценки — неравенство Чебышёва, оно даёт верхнюю границу без всякой формы, но платит точностью.

Сколько орлов ждёт сто бросков монеты?#

Классическая сцена для ЦПТ — схема Бернулли. Бросаем честную монету $n=100$ раз; $S$ — число орлов, биномиальная величина (её свойства — в уроке о биномиальном распределении). Центр и размах известны точно: $M(S)=np=50$, $D(S)=npq=25$, сигма ${\sigma }_S=5$. Каков шанс поймать от 45 до 55 орлов, то есть остаться в пределах одной сигмы от центра?

Мораль двойная. Во-первых, всякая такая задача решается одним навыком: сдвинуть к нулю, поделить на сигму, открыть таблицу. Во-вторых, у целочисленных сумм своя вежливость — поправка $\pm 0,5$ на края интервала; без неё ошибка выходит того же порядка, что и сам ответ. Для биномиального случая ЦПТ известна как интегральная теорема Муавра—Лапласа: исторически это первая форма теоремы, доказанная Муавром ещё в 1733 году.

Уложится ли партия мешков в грузовик?#

Пример, где слагаемые не целые и поправка не нужна. На складе собирают партию из $n=400$ мешков сахара. Вес мешка случаен: в среднем $50$ кг, сигма $2$ кг — фасовка плавает. Грузовик держит $20100$ кг. Стоит ли тревожиться? Сумма $S$ весов имеет центр $M(S)=400\cdot 50=20000$ кг и сигму ${\sigma }_S=2\sqrt{400}=40$ кг. Перегруз — это уход вверх больше чем на $100$ кг, то есть на $z=100/40=2,5$ сигмы. Таблица даёт $\Phi (2,5)=0,9938$, и

Редкость, но не нуль: при сотне рейсов пара перегрузов почти неизбежна. Сравните малый рейс: те же мешки, но $n=100$. Сигма суммы падает до $2\sqrt{100}=20$ кг, стокилограммовый запас превращается в пять сигм, и вероятность перегруза — около $3\cdot 10^{-7}$: практически нуль. Весь менеджмент погрузки держится на корне: сумма набирает вес как $\sqrt{n}$, а запас безопасности надо мерить в сигмах, а не в килограммах. Практическое правило: убедиться, что отклонение от центра измеряется в среднеквадратических отклонениях, и уже потом смотреть в таблицу.

Почему нормальное распределение повсюду?#

Теперь загадка из первого абзаца получает ответ. Погрешность весов — сумма температурного дрейфа, люфта, шума электроники, параллакса. Рост человека — итог сотен генов и обстоятельств среды. Тепловой шум в проводе — совокупный эффект ударов миллиардов электронов. Везде одна конструкция: величина складывается из многих мелких независимых причин, и ни одна не главенствует. ЦПТ гарантирует колокол без всяких подробностей о причинах — вот почему нормальное распределение стало рабочей лошадкой статистики, а урок о нормальном распределении разбирает его свойства построчно.

Оговорка «ни одна не главенствует» несёт настоящий вес. Если один вклад сопоставим со всей суммой — одна катастрофическая поломка среди мелких сбоев, один влиятельный ген среди сотен, — колокол может не собраться: итог унаследует тяжёлые хвосты причинителя. Дальше — чек-лист, который отделяет применимую ситуацию от подвоха.

Как проверить применимость ЦПТ?#

Перед тем как открыть таблицу $\Phi$, прогоните ситуацию по пяти пунктам. Пункт провален — колокол под вопросом.

1. Слагаемые независимы или почти независимы. Цены сегодня и завтра, последовательные показания прибора с накопленным дрейфом — зависимость, теорема без оговорок не работает.
2. Распределения одинаковы — или хотя бы ни одно слагаемое не доминирует по вкладу в общую дисперсию (условие Линдеберга для неодинаковых слагаемых).
3. Дисперсия конечна. Против тяжёлых хвостов вроде Коши теорема бессильна, сколько ни усредняй.
4. $n$ достаточно велико: общий ориентир $n\ge 30$; для биномиальных сумм — $npq\ge 10$. Симметричные слагаемые собираются рано (для суммы кубиков хватает $n=5$), скошенные — поздно.
5. Исследуемая величина — сумма или среднее, а не отдельное наблюдение. Про одиночный бросок ЦПТ ничего не говорит.

ЦПТ — несущая конструкция статистики. Доверительные интервалы держатся на ней целиком: полоса $\bar{x}\pm 2\sigma /\sqrt{n}$ вокруг выборочного среднего — это ЦПТ в действии, продолжение — в уроке о доверительных интервалах и выборочных оценках. Отработать расчёты проще всего на задачах по вероятности с ответами и разборе типовых задач; формулы к семинару лежат в шпаргалке по вероятности, а щёлкать их на скорость удобно в тренажёре по теории вероятностей.

• Сумма $n$ независимых одинаково распределённых слагаемых при большом $n$ примерно нормальна: центр $n\mu$, сигма $\sigma \sqrt{n}$
• ЗБЧ отвечает «куда идёт среднее», ЦПТ — «как распределены колебания по дороге»; второе сильнее для вычислений
• Стандартизация плюс таблица $\Phi$ решают любую задачу на суммы; целочисленным величинам нужна поправка $\pm 0,5$
• Чек-лист применимости: независимость, конечная дисперсия, нет доминирующего слагаемого, $n$ велико ($npq\ge 10$ для Бернулли)
• Сигма суммы растёт как $\sqrt{n}$: точнее вдвое — вчетверо больше данных