П5. Сходимость случайных величин и векторов

Вся асимптотическая статистика — «оценка состоятельна», «статистика асимптотически нормальна» — это утверждения о сходимости случайных величин. Но «$\xi_n$ стремится к $\xi$» можно понимать по-разному, и разница не формальность.

Определение. Случайные величины $\xi_1, \xi_2, \dots$ сходятся при $n \to \infty$ к случайной величине $\xi$

1. почти наверное ($\xi_n \xrightarrow{\text{п. н.}} \xi$), если $\mathsf P\{\omega\colon \xi_n(\omega) \to \xi(\omega)\} = 1$;
2. в среднем квадратическом ($\xi_n \xrightarrow{\text{с. к.}} \xi$), если $\mathsf M(\xi_n - \xi)^2 \to 0$;
3. по вероятности ($\xi_n \xrightarrow{\mathsf P} \xi$), если $\forall\varepsilon > 0$ $\;\mathsf P(|\xi_n - \xi| > \varepsilon) \to 0$;
4. по распределению ($\xi_n \xrightarrow{d} \xi$), если функции распределения $F_{\xi_n}(x)$ сходятся к $F_\xi(x)$ в точках непрерывности последней. (Буква «d» — от английского distribution, распределение.)

По кирпичикам — как это различать:

• п. н. — смотрим на каждую траекторию $\xi_1(\omega), \xi_2(\omega), \dots$ по отдельности: почти у всех $\omega$ это обычная сходящаяся числовая последовательность;
• по вероятности — фиксируем большое $n$ и спрашиваем: какова доля $\omega$, у которых $\xi_n$ далеко от $\xi$? Должна быть мала. Но «плохие» $\omega$ при разных $n$ могут быть разными;
• с. к. — не только плохих мало, но и средний квадрат промаха мал (выбросы не могут быть слишком большими);
• по распределению — вообще не сравниваем $\xi_n(\omega)$ с $\xi(\omega)$, сравниваем только законы.

Смысл по-пацански: «почти наверное» — каждый пацан со временем исправился и больше не косячит. «По вероятности» — в каждый момент косячит мало народу, но может быть, что каждый время от времени срывается. «В среднем квадратическом» — косячат мало и не сильно. «По распределению» — на районе в целом статистика косяков та же, что у нормального района, а кто именно косячит — неважно.

Пример $\xi_n = 1/n \xrightarrow{d} \xi = 0$ показывает, что функции $F_{\xi_n}$ могут не сходиться к $F_\xi$ в точках разрыва последней: $F_{\xi_n}(0) = 0 \ne F_\xi(0) = 1$. Поэтому в определении 4 и стоят точки непрерывности.

Случайные векторы $\boldsymbol\xi_n$ сходятся к вектору $\boldsymbol\xi$ в смысле $\xrightarrow{\text{п. н.}}$, $\xrightarrow{\text{с. к.}}$ или $\xrightarrow{\mathsf P}$, если в соответствующем смысле сходятся все их компоненты.

Определение. Говорят, что $\boldsymbol\xi_n \xrightarrow{d} \boldsymbol\xi$, если $\mathsf M\varphi(\boldsymbol\xi_n) \to \mathsf M\varphi(\boldsymbol\xi)$ для любой непрерывной и ограниченной функции $\varphi$ на $\mathbb R^k$.

Критерием $\boldsymbol\xi_n \xrightarrow{d} \boldsymbol\xi$ является сходимость линейных комбинаций компонент $\boldsymbol\lambda^T\boldsymbol\xi_n \xrightarrow{d} \boldsymbol\lambda^T\boldsymbol\xi$ для всевозможных $\boldsymbol\lambda = (\lambda_1, \dots, \lambda_k)$. (Этот приём Крамера — Уолда мы использовали в гл. 23, доказывая асимптотическую нормальность векторов знаков и рангов.)

Диаграмма зависимости видов сходимости

Обратные стрелки неверны, и каждый контрпример можно потрогать руками:

• по вероятности, но не почти наверное — «пишущая машинка»: индикатор отрезка, который пробегает $[0, 1]$, каждый раз вдвое короче;
• почти наверное, но не в среднем квадратическом — $\xi_n = n\,I_{\{U < 1/n\}}$: каждая траектория со временем зануляется, но $\mathsf M\xi_n = 1$ и $\mathsf M\xi_n^2 = n$;
• по распределению, но не по вероятности — $\xi_n = (-1)^n\xi$ с симметричным $\xi$: закон один и тот же, а сами значения прыгают.

По кирпичикам — почему из с. к. следует $\mathsf P$: по неравенству Чебышёва (П4) $\mathsf P(|\xi_n - \xi| > \varepsilon) \le \mathsf M(\xi_n - \xi)^2/\varepsilon^2 \to 0$. Из п. н. следует $\mathsf P$ — по свойству непрерывности вероятности (П1), применённому к событиям «после момента $n$ хоть раз промахнулся больше чем на $\varepsilon$».

Предельный переход под знаком математического ожидания

Теорема о монотонной сходимости. Пусть $\xi_1 \le \xi_2 \le \dots$ и $\mathsf M\xi_1 > -\infty$. Если $\xi_n \xrightarrow{\text{п. н.}} \xi$ при $n \to \infty$, то $\mathsf M\xi_n \uparrow \mathsf M\xi$.

Теорема Лебега о мажорированной сходимости. Пусть $\xi_n \xrightarrow{\mathsf P} \xi$ при $n \to \infty$. Если найдётся такая случайная величина $\eta$, что $|\xi_n| \le \eta$ и $\mathsf M\eta < \infty$, то

Смысл по-пацански: можно ли менять местами «предел» и «среднее»? Можно, если все $\xi_n$ держит в узде одна интегрируемая «крыша» $\eta$. Пример $n\,I_{\{U < 1/n\}}$ — как раз без крыши: пики растут, и среднее не идёт за пределом (1 против 0).

Свойства сходимости

Пусть $a$, $b$, $c$ — константы, $\alpha_n$, $\beta_n$, $\xi_n$, $\xi$ — случайные величины. Тогда

1. $\alpha_n \xrightarrow{\mathsf P} a$, $\beta_n \xrightarrow{\mathsf P} b$, $\xi_n \xrightarrow{d} \xi \;\Longrightarrow\; \alpha_n + \beta_n\xi_n \xrightarrow{d} a + b\xi$;
2. $\xi_n \xrightarrow{d} c \;\Longrightarrow\; \xi_n \xrightarrow{\mathsf P} c$;
3. для любых случайных векторов $\boldsymbol\xi_n$, $\boldsymbol\xi$ и непрерывной функции $\varphi$ на $\mathbb R^k$: $\boldsymbol\xi_n \xrightarrow{\mathsf P} \boldsymbol\xi \Rightarrow \varphi(\boldsymbol\xi_n) \xrightarrow{\mathsf P} \varphi(\boldsymbol\xi)$ и $\boldsymbol\xi_n \xrightarrow{d} \boldsymbol\xi \Rightarrow \varphi(\boldsymbol\xi_n) \xrightarrow{d} \varphi(\boldsymbol\xi)$.

По кирпичикам: свойство 1 (его часто называют леммой Слуцкого) — главный инструмент статистика. Пример: $\sqrt n(\overline X - \mu)/\sigma \xrightarrow{d} \mathcal N(0, 1)$ по ЦПТ, а неизвестную $\sigma$ заменяем на выборочную $S \xrightarrow{\mathsf P} \sigma$. По свойству 1 с $\beta_n = \sigma/S \xrightarrow{\mathsf P} 1$ получаем $\sqrt n(\overline X - \mu)/S \xrightarrow{d} \mathcal N(0, 1)$ — асимптотическое обоснование $t$-интервалов при любом законе с конечной дисперсией. Свойство 2 — сходимость по распределению к константе равносильна сходимости по вероятности.

Смысл по-пацански: то, что сходится к числу, можно подставлять в формулы вместо этого числа — асимптотика не испортится. Так в статистике и живут: всё неизвестное заменяют состоятельными оценками и спят спокойно.

Проверь себя