🎲 Тервер

Ковариация

Q: Зачем ковариация в формуле дисперсии суммы?

Точный ответ: $D(X + Y) = DX + DY + 2\,\operatorname{cov}(X, Y)$. Для независимых величин перекрёстный член нулевой — получается знакомое правило сложения дисперсий. Для зависимых добавка работает в любую сторону: при положительной ковариации сумма колеблется сильнее, чем давали бы дисперсии по отдельности, при отрицательной — колебания гасят друг друга.

англ. Covariance

Мера линейной согласованности двух случайных величин: $\operatorname{cov}(X, Y) = M[(X - MX)(Y - MY)] = M(XY) - MX \cdot MY$; знак говорит о направлении связи, а нормировка на $\sigma_X \sigma_Y$ даёт коэффициент корреляции.

Ковариация $cov (X, Y)$ измеряет, насколько согласованно меняются две случайные величины: $cov (X, Y) = M [(X - M X) (Y - M Y)]$ . Берутся отклонения от средних и усредняется их произведение. Если $X$ и $Y$ обычно отклоняются в одну сторону — произведение положительно; если в противоположные — отрицательно. Вторая, практичная форма следует из линейности ожидания: $cov (X, Y) = M (X Y) - M X \cdot M Y$ . Свойства коротко: $cov (X, X) = D X$ , билинейность ( $cov (5 X, Y) = 5 cov (X, Y)$ , $cov (X + Z, Y)$ распадается на сумму), а из независимости следует нулевая ковариация — обратное, заметим сразу, неверно.

Интерпретация знака: плюс — величины растут вместе, как стаж и зарплата; минус — разнонаправленно, как температура за окном и расходы на отопление; ноль — линейной согласованности не видно. Ноль не значит «независимы»: ковариация чувствует только линейную часть связи. Пример-предостережение: пусть $X = \pm 1$ с вероятностями по $1/2$ , а $Y = X^{2}$ . Тогда $M (X) = 0$ , $M (X Y) = M (X^{3}) = 0$ и $cov (X, Y) = 0 - 0 = 0$ , хотя $Y$ полностью определяется $X$ — связь железная, но нелинейная, и ковариация её не замечает.

cov (X, Y) = M (X Y) - M X \cdot M Y, r = \frac{cov ( X , Y )}{σ _{X} σ _{Y}}

расчётная форма через смешанный момент;

r

— коэффициент корреляции: та же ковариация в единицах типичных разбросов, всегда между

- 1

1

Мини-пример на $2 \times 2$ -таблице. Величины $X, Y \in {0; 1}$ с вероятностями: $P (0; 0) = 0.4$ , $P (0; 1) = 0.1$ , $P (1; 0) = 0.1$ , $P (1; 1) = 0.4$ . Края таблицы: $M X = 0 \cdot 0.5 + 1 \cdot 0.5 = 0.5$ и $M Y = 0.5$ . Смешанный момент собирает только ячейку $(1; 1)$ : $M (X Y) = 0.4$ . Ковариация: $0.4 - 0.25 = 0.15$ . Дисперсия каждой Бернулли-величины $0.5 \cdot 0.5 = 0.25$ , значит $σ_{X} = σ_{Y} = 0.5$ и корреляция $r = 0.15/0.25 = 0.6$ — заметная положительная связь. Перевернём центр таблицы: $P (1; 1) = P (0; 0) = 0.05$ , $P (1; 0) = P (0; 1) = 0.45$ . Тогда $M (X Y) = 0.05$ , ковариация $0.05 - 0.25 = - 0.2$ , а $r = - 0.8$ — сильная отрицательная. Цифры в таблице — а качественный вывод о связи уже читается по знаку.

Практика с этими понятиями — урок корреляция и регрессия, техника расчёта моментов — урок матожидание и дисперсия. Словарь: математическое ожидание, дисперсия, коэффициент корреляции и среднеквадратичное отклонение — знаменатель в формуле $r$ . Формулы и таблицы — в шпаргалке по статистике.

Частые вопросы

Чем ковариация отличается от коэффициента корреляции?

Масштабом. Ковариация не ограничена сверху и зависит от единиц измерения: переведёте метры в километры — число уменьшится в тысячу раз. Корреляция делит её на $σ_{X} σ_{Y}$ и получает безразмерное число из $[- 1; 1]$ . Знак и «линейность» у обоих одинаковые: $r$ — это ковариация, пересчитанная в единицах типичных разбросов.

Зачем ковариация в формуле дисперсии суммы?

Точный ответ: $D (X + Y) = D X + D Y + 2 cov (X, Y)$ . Для независимых величин перекрёстный член нулевой — получается знакомое правило сложения дисперсий. Для зависимых добавка работает в любую сторону: при положительной ковариации сумма колеблется сильнее, чем давали бы дисперсии по отдельности, при отрицательной — колебания гасят друг друга.