П6. Предельные теоремы

Пусть $X_1, X_2, \dots$ — независимые одинаково распределённые случайные величины. Положим $S_n = X_1 + \dots + X_n$.

Законы больших чисел

Усиленный закон больших чисел. Если существует $\mu = \mathsf MX_1$ (не обязательно конечное), то $S_n/n \xrightarrow{\text{п. н.}} \mu$ при $n \to \infty$.

Из диаграммы зависимости видов сходимости (П5) следует сходимость $S_n/n \xrightarrow{\mathsf P} \mu$ (закон больших чисел).

По кирпичикам: «усиленный» — потому что сходимость почти наверное, т. е. для почти каждой бесконечной серии наблюдений бегущее среднее сходится к $\mu$. Обычный закон больших чисел (по вероятности) при $\mathsf DX_1 < \infty$ доказывается в одну строку через Чебышёва: $\mathsf P(|S_n/n - \mu| \ge \varepsilon) \le \mathsf DX_1/(n\varepsilon^2) \to 0$.

Смысл по-пацански: на этом законе стоит вся статистика и все казино. Отдельный бросок непредсказуем, а среднее по миллиону бросков — железно. Единственное условие — у закона должно быть среднее. У Коши его нет, и бегущее среднее Коши так и шатается до конца времён (переключи виджет на «Закон больших чисел»).

Центральная предельная теорема

Центральная предельная теорема. Если $0 < \sigma^2 = \mathsf DX_1 < \infty$, то

где $Z$ — стандартная нормальная случайная величина с функцией распределения

Обозначим через $F_n(x) = \mathsf P(S_n^* \le x)$. Центральная предельная теорема равносильна сходимости $F_n(x) \to \Phi(x)$ при всех $x$. На самом деле можно показать, что эта сходимость является равномерной: $\sup_x|F_n(x) - \Phi(x)| \to 0$ при $n \to \infty$.

Смысл по-пацански: складываешь много мелких независимых случайностей — получаешь нормальный закон, какими бы кривыми ни были слагаемые. Рост, ошибки измерения, суммарный выигрыш в казино за вечер — колокол Гаусса везде, где много мелочи. Но «много» — это сколько? На это отвечает следующая теорема.

Скорость сходимости

Теорема Берри — Эссеена. Пусть $\mathsf M|X_1|^3 < \infty$. Тогда

где $C$ — постоянная.

История константы $C$ — отдельный детектив. Берри утверждал, что $C \le 1{,}88$, но его вычисления содержали ошибку. Эссеен показал, что $C \le 7{,}59$. В дальнейшем $C$ удалось уменьшить до следующих значений: 2,9 (Эссеен, 1956); 2,05 (Уоллес, 1958); 0,9051 (В. М. Золотарёв, 1966); 0,7655 (И. С. Шиганов, 1982). Известно также, что $C \ge 1/\sqrt{2\pi} \approx 0{,}3989$. (После выхода книги оценку продолжали улучшать; среди более поздних результатов — значения меньше 0,5, полученные И. Г. Шевцовой.)

По кирпичикам: дробь $\mathsf M|X_1 - \mu|^3/\sigma^3$ — «ляпуновская дробь», безразмерная мера того, насколько у закона тяжёлые и кривые хвосты. Чем она больше, тем медленнее сумма «нормализуется». Скорость $1/\sqrt n$: чтобы уменьшить ошибку вдвое, нужно вчетверо больше слагаемых. Для симметричных гладких законов на самом деле быстрее — как $1/n$, а $1/\sqrt n$ — честная оценка худшего случая (решётчатые и асимметричные законы).

Неодинаково распределённые и зависимые слагаемые

Приведём два обобщения центральной предельной теоремы на случаи неодинаково распределённых и зависимых слагаемых.

Теорема Линдеберга. Пусть $X_1, X_2, \dots$ — независимые случайные величины, $\mu_i = \mathsf MX_i$, $0 < \sigma_i^2 = \mathsf DX_i < \infty$, $a_n = \mathsf MS_n = \sum_{i=1}^n\mu_i$, $b_n^2 = \mathsf DS_n = \sum_{i=1}^n\sigma_i^2$, $C_{i,n} = \{\omega\colon |X_i(\omega) - \mu_i| > \varepsilon b_n\}$. Тогда, если для любого $\varepsilon > 0$

то $(S_n - a_n)/b_n \xrightarrow{d} Z \sim \mathcal N(0, 1)$ при $n \to \infty$.

По кирпичикам: условие Линдеберга говорит, что доля общей дисперсии, приходящаяся на «большие» отклонения отдельных слагаемых (больше $\varepsilon$ от общего масштаба $b_n$), исчезает. Иначе говоря, ни одно слагаемое не должно «тянуть одеяло на себя». Если одно слагаемое по разбросу сравнимо со всей суммой, нормальности не будет — сумма унаследует его закон.

Смысл по-пацански: в бригаде из ста работяг один — бульдозер. Сколько бы мелких ни было, итог определит бульдозер, и никакого Гаусса не выйдет. Линдеберг запрещает бульдозеры.

Последовательность $X_1, X_2, \dots$ называется стационарной, если для любого $n$ совместное распределение $(X_{1+i}, \dots, X_{n+i})$ одно и то же при всех $i$. Последовательность называется $m$-зависимой, если $(X_1, \dots, X_n)$ и $(X_j, X_{j+1}, \dots)$ независимы при $j > n + m$. (Примером могут служить $\eta_i = \varphi(\xi_i, \dots, \xi_{i+m-1})$, где $\xi_i$ — независимые одинаково распределённые случайные величины, $\varphi$ — произвольная борелевская функция на $\mathbb R^m$, например линейная.)

Следующая теорема — частный случай результата В. Хефдинга и Х. Робинса (1948 г.).

Теорема Хефдинга и Робинса. Пусть случайные величины $X_1, X_2, \dots$ образуют стационарную $m$-зависимую последовательность; $\mathsf MX_1 = \mu$, $\mathsf M|X_1|^3 < \infty$. Тогда при $n \to \infty$

По кирпичикам: $\mathsf DS_n = n\,\mathsf DX_1 + 2\sum_{i<k}\operatorname{cov}(X_i, X_k)$ (свойство 3 из П2). Для стационарной $m$-зависимой последовательности ненулевые ковариации — только у соседей на расстоянии $j \le m$, их примерно $n$ штук для каждого $j$. Делим на $n$ — получаем $\sigma^2$ теоремы. Именно эта формула объясняет, почему в гл. 15 при корреляции соседних наблюдений «врут» уровни значимости обычных критериев: они думают, что дисперсия $\mathsf DX_1$, а на деле она $\sigma^2$.

Проверь себя