П2. Математическое ожидание и дисперсия

Интеграл Лебега

Определение. Для случайной величины $\xi \ge 0$

Эта формула означает, что если заменить $\xi$ дискретной случайной величиной $\xi^{(n)}$ таким образом, что $\xi^{(n)} = (i-1)2^{-n}$ на множестве $\{\omega\colon (i-1)2^{-n} \le \xi < i2^{-n}\}$ (и $\xi^{(n)} = n$ там, где $\xi \ge n$), то, вычисляя $\mathsf M\xi^{(n)}$ и устремляя $n \to \infty$, приходим к пределу, который и называется $\mathsf M\xi$.

По кирпичикам: $\xi^{(n)}$ — это $\xi$, «округлённая вниз» до ближайшего деления линейки с шагом $2^{-n}$ и «обрезанная» на высоте $n$. У такой величины конечное число значений, и её среднее — обычная сумма «значение × вероятность». С ростом $n$ линейка мельчает и удлиняется, $\xi^{(n)}$ подползает к $\xi$ снизу, и суммы растут к пределу. Предел может оказаться и бесконечным.

Смысл по-пацански: Риман режет ось аргументов на кусочки и складывает «высота × ширина». Лебег режет ось значений: «сколько народу заработало от 0 до 100 рублей, сколько — от 100 до 200» — и складывает «уровень × сколько народу на этом уровне». Лебегу всё равно, что такое $\omega$ — точки отрезка, расклады карт или траектории броуновского движения. Поэтому теория вероятностей и живёт на интеграле Лебега.

Определение. Для произвольной случайной величины $\xi$

и хотя бы одно из математических ожиданий конечно. В случае, когда $\mathsf M\xi^+ = \mathsf M\xi^- = +\infty$, $\mathsf M\xi$ (интеграл Лебега) не существует.

Это и случай закона Коши (гл. 7): у него и «положительная», и «отрицательная» части имеют бесконечные средние, разность $\infty - \infty$ не определена — и среднего нет.

Замена переменных

Определение. Борелевской σ-алгеброй $\mathcal B$ называется наименьшая σ-алгебра, содержащая всевозможные интервалы на прямой.

Определение. Функция $\varphi(x)$ — борелевская, если она измерима относительно $\mathcal B$ (в частности, такова любая непрерывная функция).

Теорема о замене переменных. Для борелевской функции $\varphi$

где $F_\xi(x) = \mathsf P(\xi \le x)$ — функция распределения случайной величины $\xi$. (Справа стоит интеграл Стилтьеса.)

Следствие. Момент $k$-го порядка $\mathsf M\xi^k = \int_{-\infty}^{+\infty}x^kF_\xi(dx)$.

По кирпичикам: левая часть — интеграл по «невидимому» пространству исходов $\Omega$, правая — по обычной числовой прямой с весами из функции распределения. Теорема говорит: чтобы посчитать среднее от функции случайной величины, $\Omega$ знать не нужно, достаточно закона распределения. Для величины с плотностью $F_\xi(dx) = p(x)\,dx$, для дискретной — сумма по значениям с их вероятностями.

Свойства математического ожидания

1. $\mathsf M(\xi + c) = \mathsf M\xi + c$, $\;\mathsf M(c\xi) = c\,\mathsf M\xi$.
2. $\mathsf M(\xi + \eta) = \mathsf M\xi + \mathsf M\eta$, если нет неопределённости вида $\infty - \infty$.
3. Если $\xi \le \eta$, то $\mathsf M\xi \le \mathsf M\eta$.
4. $|\mathsf M\xi| \le \mathsf M|\xi|$.
5. $\mathsf M(\xi\eta) = \mathsf M\xi\cdot\mathsf M\eta$, когда $\xi$ и $\eta$ независимы, а $\mathsf M\xi$ и $\mathsf M\eta$ конечны.

Смысл по-пацански: свойство 2 работает всегда — хоть зависимые величины, хоть нет. Среднее суммы — сумма средних, и точка. А вот свойство 5 про произведение — только для независимых. Путать эти два — классическая ошибка первокурсника.

Дисперсия, ковариация, корреляция

Для случайных величин $\xi$ и $\eta$ таких, что $\mathsf M\xi^2 < \infty$ и $\mathsf M\eta^2 < \infty$, определены

• дисперсия $\mathsf D\xi = \mathsf M(\xi - \mathsf M\xi)^2 = \mathsf M\xi^2 - (\mathsf M\xi)^2$,
• ковариация $\operatorname{cov}(\xi, \eta) = \mathsf M(\xi - \mathsf M\xi)(\eta - \mathsf M\eta) = \mathsf M(\xi\eta) - \mathsf M\xi\,\mathsf M\eta$,
• коэффициент корреляции $\rho(\xi, \eta) = \operatorname{cov}(\xi, \eta)\big/\sqrt{\mathsf D\xi\,\mathsf D\eta}$.

По кирпичикам — откуда $\mathsf M\xi^2 - (\mathsf M\xi)^2$: раскроем квадрат, $\mathsf M(\xi^2 - 2\xi\mu + \mu^2) = \mathsf M\xi^2 - 2\mu\,\mathsf M\xi + \mu^2 = \mathsf M\xi^2 - \mu^2$ при $\mu = \mathsf M\xi$ (свойства 1 и 2). Формула удобна для счёта, но на компьютере опасна: при больших $\mu$ вычитаются два почти равных огромных числа и теряется точность.

Свойства дисперсии и ковариации

1. $\mathsf D(\xi + c) = \mathsf D\xi$, $\;\mathsf D(c\xi) = c^2\,\mathsf D\xi$.
2. Если $\xi$ и $\eta$ независимы, то $\mathsf D(\xi + \eta) = \mathsf D\xi + \mathsf D\eta$.
3. Для случайных величин $\xi_1, \dots, \xi_n$ с конечными $\mathsf M\xi_i^2$

4. $\operatorname{cov}(a\xi + b, c\eta + d) = ac\operatorname{cov}(\xi, \eta)$ и $\rho(a\xi + b, c\eta + d) = \rho(\xi, \eta)$ при $ac > 0$.
5. Пусть случайный вектор $\boldsymbol\xi = (\xi_1, \dots, \xi_k)$ имеет ковариационную матрицу $\boldsymbol\Sigma = \|\operatorname{cov}(\xi_i, \xi_j)\|_{k\times k}$, $\boldsymbol B$ — произвольная числовая $(m \times k)$-матрица (см. П10). Тогда $\boldsymbol\eta = \boldsymbol B\boldsymbol\xi$ имеет ковариационную матрицу $\|\operatorname{cov}(\eta_i, \eta_j)\|_{m\times m} = \boldsymbol B\boldsymbol\Sigma\boldsymbol B^T$.

По кирпичикам — свойство 5: $\eta_i = \sum_kb_{ik}\xi_k$, поэтому $\operatorname{cov}(\eta_i, \eta_j) = \sum_k\sum_lb_{ik}b_{jl}\operatorname{cov}(\xi_k, \xi_l)$ — ровно элемент $(i, j)$ произведения $\boldsymbol B\boldsymbol\Sigma\boldsymbol B^T$. Свойство 3 — частный случай с $\boldsymbol B = (1, 1, \dots, 1)$: сумма всех элементов $\boldsymbol\Sigma$.

Смысл по-пацански: разброс суммы — это не только разбросы слагаемых, но и то, как они «тянут в одну сторону». Если два пацана всегда опаздывают вместе (ковариация плюс), общий разброс опозданий бригады больше суммы разбросов. Если один опаздывает, когда другой приходит рано, — разбросы гасят друг друга.

Проверь себя