П3. Формула свёртки

Рассмотрим независимые случайные величины $\xi$ и $\eta$, т. е. такие, что для любых чисел $x$ и $y$ верно равенство

Дискретный случай

Если они распределены дискретно, то в силу независимости

По кирпичикам: чтобы сумма была равна $x_i$, второе слагаемое должно принять какое-то значение $y_j$, а первое — «добить» до $x_i$, т. е. быть равным $x_i - y_j$. Перебираем все $y_j$ (события «$\eta = y_j$» не пересекаются — аксиома 3 из П1) и пользуемся независимостью, чтобы разбить вероятность пересечения на произведение.

Смысл по-пацански: сколько способов набрать на двух кубиках 7 очков? 1 + 6, 2 + 5, 3 + 4, 4 + 3, 5 + 2, 6 + 1 — шесть способов, каждый с вероятностью $\frac1{36}$. Свёртка — это и есть «перебери, как второй может лечь, и посмотри, что нужно от первого».

Случай с плотностями

Если же у них есть плотности $p_\xi(x)$ и $p_\eta(x)$, то плотность суммы

Общий случай

В общем случае функция распределения суммы независимых случайных величин $\xi$ и $\eta$ вычисляется по формуле

Интеграл справа называется свёрткой $F_\xi(x)$ и $F_\eta(x)$ (обозначается $F_\xi * F_\eta$).

По кирпичикам: формула с плотностями — то же самое, что дискретная, только сумма стала интегралом, а вероятности — плотностями. Общая формула объединяет оба случая: $F_\eta(dy)$ — это «вероятность попасть в $dy$», и для дискретной $\eta$ интеграл превращается в сумму, а для непрерывной — в интеграл с $p_\eta(y)\,dy$.

Смысл по-пацански: формула одна на все случаи жизни: «закон суммы = закон первого, сдвинутый на каждое значение второго, и усреднённый по закону второго». Кубики, рост, зарплаты — неважно, лишь бы слагаемые друг от друга не зависели.

Примеры

Две равномерные на $[0, 1]$. $p_{\xi+\eta}(x) = \int_0^1I_{\{0\le x - y\le1\}}dy$ — длина отрезка $[\max(0, x - 1), \min(1, x)]$. Получается «домик»: $x$ при $0 \le x \le 1$ и $2 - x$ при $1 \le x \le 2$ — треугольное распределение Симпсона. Три слагаемых дают уже гладкий кусочно-параболический «колокол», а сумма $k$ равномерных — закон Ирвина — Холла.

Показательные. Свёртка двух показательных с параметром 1: $\int_0^xe^{-(x-y)}e^{-y}dy = xe^{-x}$. По индукции сумма $k$ таких величин имеет плотность $x^{k-1}e^{-x}/(k-1)!$ — гамма-распределение.

Нормальные. Свёртка $\mathcal N(\mu_1, \sigma_1^2)$ и $\mathcal N(\mu_2, \sigma_2^2)$ — снова нормальный закон $\mathcal N(\mu_1 + \mu_2, \sigma_1^2 + \sigma_2^2)$. Проще всего это видно через характеристические функции (П9): при сложении независимых величин х. ф. перемножаются, а произведение экспонент от квадратов — снова экспонента от квадрата.

Смысл по-пацански: свёртка «размазывает». Сложил две ступеньки — получил домик, три — колокол. Чем больше слагаемых, тем больше сумма похожа на нормальный закон, с какого бы закона ни начинали. Это и есть центральная предельная теорема (П6), увиденная глазами.

Проверь себя