§3. Дифференцируемые функционалы

Интересно, что такие, на первый взгляд, не связанные между собой статистические результаты, как

• а) предельные распределения статистики Колмогорова и статистики омега-квадрат (§2 гл. 12),
• б) асимптотическая нормальность выборочных квантилей (теорема 2 гл. 7),
• в) критерий хи-квадрат (§1 гл. 18),

на самом деле вытекают из приведённой ниже теоремы 2. Для её формулировки потребуется следующее

Определение. Функционал $G$, заданный на $D[0, 1]$, называется непрерывно дифференцируемым порядка $k$ в точке $y_0 \in D[0, 1]$, если существует такой функционал $g(y_0, v)$, что для любой функции $v \in C[0, 1]$ и произвольной последовательности $v_h \in D[0, 1]$, $\|v_h - v\| \to 0$ при действительном $h \to 0$, выполняются соотношения

Второе из соотношений означает непрерывность в равномерной метрике в точках из $C[0, 1]$ функционала $g(y_0, v)$, который можно называть производной порядка $k$ от $G$ в $y_0$ по направлению $v$.

По кирпичикам: это обычная производная по направлению, только «точка» — функция $y_0$, а «направление» — функция $v$. Порядок $k$ показывает, с какой скоростью меняется $G$: при $k = 1$ — линейно по $h$ (как у обычной производной), при $k = 2$ — квадратично (как в точке минимума, где первая производная — ноль). Хитрость с $v_h \to v$ нужна, чтобы подставлять «почти $v$» — например, разрывный эмпирический процесс, который близок к непрерывному мосту.

Примеры

Пример 1. Рассмотрим функционал $G(y) = \|y - y_0\|$. Он непрерывно дифференцируем по любому направлению, так как $G(y_0) = 0$,

Пример 2. Для любого натурального $k$ функционал

где $F$ и $F_0$ — функции распределения случайных величин, принимающих значения только из $[0, 1]$, является непрерывно дифференцируемым $k$-го порядка по любому направлению, поскольку

Пример 3. Покажем, что для произвольного $p \in (0, 1)$ функционал $G(F) = F^{-1}(p) = \inf\{t\colon F(t) \ge p\}$ непрерывно дифференцируем в точке $F_0(t) = t$, где $t \in [0, 1]$, причём $g(F_0, v) = -v(p)$.

Доказательство. Введём обозначение

Так как функционал $G$ является непрерывным в равномерной метрике в точке $F_0$, мы можем положить $t^* = p + \delta$, где $\delta = \delta(h) \to 0$ при $h \to 0$. Из $\|v_h - v\| \to 0$ и $v \in C[0, 1]$ вытекает, что при $h \to 0$

В силу (2) и (3) имеем неравенство

где $|\theta| \le 1$. Аналогично можно написать обратное неравенство:

где $|\theta_1| \le 1$, $R_1(h) = |v_h(p + \delta -) - v(p)| \to 0$ при $h \to 0$. Поэтому $\bigl[G(F_0 + hv_h) - G(F_0)\bigr]/h = (p + \delta - p)/h = \delta/h \to -v(p)$. $\blacksquare$

По кирпичикам — идея: квантиль $t^*$ — точка, где график $t + hv(t)$ пересекает уровень $p$. Поднимем график вверх на $hv(p)$ около $t = p$ — точка пересечения уедет влево на ту же величину (наклон диагонали равен 1). Отсюда $t^* \approx p - hv(p)$ и производная $-v(p)$.

Смысл по-пацански: подкинь всем в районе по рублю — граница «нижние 30 % по доходу» сдвинется вниз ровно на тот рубль, делённый на густоту людей в этом месте. При равномерном законе густота 1 — вот и весь вывод.

Проверь численно: разностное отношение подходит к $-v(p)$.

Пример 4. Рассмотрим разбиение отрезка $[0, 1]$ точками $0 = t_0 < t_1 < \dots < t_N = 1$. Тогда для $F_0(t) = t$ функционал

где $\Delta_jF = F(t_j) - F(t_{j-1})$, $\Delta_jF_0 = t_j - t_{j-1}$, будет непрерывно дифференцируем 2-го порядка, поскольку для него

Основная теорема

Сформулируем предельную теорему для статистик, которые можно представить в виде дифференцируемого функционала от эмпирической функции распределения $\hat F_n(t)$, построенной по выборке $\eta_1, \dots, \eta_n$ из равномерного распределения на $[0, 1]$. (Существуют статистики, которые не представляются в таком виде, скажем, $\eta_{(n)} = \max\{\eta_1, \dots, \eta_n\}$ или $T = \sum_{i=1}^{n-1}\eta_i\eta_{i+1}$.)

Теорема 2. Если $F_0(t) = t$, $t \in [0, 1]$, и функционал $G(F)$ непрерывно дифференцируем порядка $k$ в $F_0$, то при $n \to \infty$

где $B$ есть броуновский мост.

По кирпичикам: $\hat F_n = F_0 + \frac1{\sqrt n}B_n$, т. е. это $F_0 + hv_h$ с $h = 1/\sqrt n$ и $v_h = B_n$. По определению производной $\bigl[G(\hat F_n) - G(F_0)\bigr]/h^k \approx g(F_0, B_n)$, а $B_n \to B$ (теорема 1) и $g$ непрерывен — получаем $g(F_0, B)$. И $1/h^k = n^{k/2}$.

Смысл по-пацански: одна теорема — и все предельные законы курса падают в руки сами. Надо только посчитать «производную» своей статистики и подставить туда мост.

Следствие 1. Статистика Колмогорова

Рассмотрим статистику критерия Колмогорова $D_n = \sup_{0\le t\le1}|\hat F_n(t) - t|$. Ввиду примера 1 из теоремы 2, применённой к функционалу $D_n(\hat F_n)$, вытекает, что $\sqrt nD_n \xrightarrow{d} \|B\|$. А. Н. Колмогоровым для функции распределения случайной величины $\|B\|$ получено представление в виде ряда:

Распределение статистики $\sup_{-\infty\le x\le\infty}|\hat F_n(x) - F(x)|$ согласно замечанию 1 гл. 12 оказывается одним и тем же для выборки $X_1, \dots, X_n$ из закона с произвольной непрерывной функцией распределения $F(x)$.

Замечание. Дополним объяснение из решения задачи 2 гл. 12. Пусть $0 < \mu = \mathsf MX_i$, $\sigma^2 = \mathsf DX_i$, $S_i = X_1 + \dots + X_i$, $S_i^0 = S_i - i\mu$. Рассмотрим

Здесь первый сомножитель сходится по вероятности к $\sigma/\mu$ в силу закона больших чисел, а второй — по распределению к $\sup_{0\le t\le1}|W^0(t)| \sim K(x)$ (выражение под модулем — сжатое блуждание с вычтенной прямой, т. е. мост). В частности, для равномерного распределения на отрезке $[0, 1]$ имеем $\mu = \frac12$, $\sigma = 1/\sqrt{12}$, $\sigma/\mu = 1/\sqrt3 \approx 0{,}6$.

Следствие 2. Статистика Крамера — Мизеса

Распределение статистики Крамера — Мизеса $\omega_n^2 = \int_{-\infty}^{\infty}\bigl[\hat F_n(x) - F(x)\bigr]^2dF(x)$ также не зависит от функции распределения $F$ в случае её непрерывности. Для $F_0 = t$, $t \in [0, 1]$, функционал $\omega_n^2(\hat F_n) = \int_0^1\bigl[\hat F_n(t) - t\bigr]^2dt$ согласно примеру 2 непрерывно дифференцируем 2-го порядка. Поэтому

Для предельного распределения так же, как и для $K(x)$, известно разложение в ряд и составлены таблицы. Например, 0,95-квантиль этого закона равна $0{,}4614$, 0,99-квантиль — $0{,}7435$ (в виджете ниже предельная функция распределения посчитана по формуле Смирнова).

По кирпичикам: $\mathsf M\int_0^1B^2dt = \int_0^1t(1 - t)\,dt = \frac16$ — среднее значение предела. Легко запомнить: в среднем $n\omega_n^2 \approx 0{,}167$.

Следствие 3. Выборочные квантили

Пусть $\eta_{([pn]+1)}$ обозначает выборочную $p$-квантиль ($0 < p < 1$) (см. §3 гл. 7) для выборки $\eta_1, \dots, \eta_n$ из равномерно распределённого на отрезке $[0, 1]$. Тогда $\eta_{([pn]+1)} = \hat F_n^{-1}(p)$. Ввиду примера 3 из теоремы 2 следует, что $\sqrt n\bigl(\eta_{([pn]+1)} - p\bigr) \xrightarrow{d} -B(p)$ при $n \to \infty$.

Случайная величина $B(p) = W(p) - pW(1)$, будучи линейной комбинацией компонент нормального вектора $(W(p), W(1))$, сама распределена нормально (согласно П9). Далее, $\mathsf MB(p) = \mathsf MW(p) - p\mathsf MW(1) = 0$. Из равенства (1) вытекает, что дисперсия $\mathsf DB(p) = \operatorname{cov}(B(p), B(p)) = p(1 - p)$, т. е. $B(p) \sim \mathcal N(0, p(1 - p))$. Очевидно, что случайная величина $-B(p)$ распределена так же. Тем самым установлена асимптотическая нормальность выборочных квантилей для выборки из равномерного распределения на отрезке $[0, 1]$.

Для того чтобы обобщить этот результат на случай распределения с заданной плотностью $p(x)$ (т. е. доказать теорему 2 гл. 7), остаётся лишь применить лемму 1 гл. 7.

Смысл по-пацански: выборочная медиана равномерной выборки — это просто значение моста в точке ½ с минусом. Дисперсия моста там $\frac14$ — отсюда $\sqrt n(MED - \frac12) \to \mathcal N(0, \frac14)$.

Следствие 4. Хи-квадрат

Для $F_0 = t$ положим $p_j = \Delta_jF_0 = t_j - t_{j-1}$, $j = 1, \dots, N$ (см. пример 4). Тогда статистика хи-квадрат

где $\nu_j = n\Delta_j\hat F_n$ представляет собой число $\eta_i$ в промежутке $[t_{j-1}, t_j)$. (У Лагутина написано $X_n^2 = G(\hat F_n)$, без множителя $n$; но по теореме 2 при $k = 2$ к пределу сходится именно $n^{k/2}G(\hat F_n) = nG(\hat F_n)$ — это и есть привычная статистика хи-квадрат.) Согласно примеру 4 и теореме 2 при $n \to \infty$

Покажем, что $\zeta \sim \chi^2_{N-1}$. Для этого рассмотрим случайный вектор $\boldsymbol\xi = (\xi_1, \dots, \xi_N)$, где $\xi_j = \Delta_jB$. Так как $\Delta_jB = \Delta_jW - p_jW(1)$, то $\boldsymbol\xi$ — нормальный вектор. Вычислим его ковариационную матрицу $\boldsymbol\Sigma = \|\sigma_{jk}\|_{N\times N}$. Запишем:

где $a_{jk} = \delta_{jk} - p_j$ (здесь $\delta_{jk} = 1$ при $j = k$ и $\delta_{jk} = 0$ при $j \ne k$ — символ Кронекера). В силу свойств 2 и 3 броуновского движения

С учётом соотношений (4), (5) и равенства $p_1 + \dots + p_N = 1$ нетрудно вывести (проверьте!), что

По кирпичикам (проверяем): $\sum_l(\delta_{jl} - p_j)(\delta_{kl} - p_k)p_l = \sum_l\delta_{jl}\delta_{kl}p_l - p_k\sum_l\delta_{jl}p_l - p_j\sum_l\delta_{kl}p_l + p_jp_k\sum_lp_l = \delta_{jk}p_j - p_kp_j - p_jp_k + p_jp_k = \delta_{jk}p_j - p_jp_k$.

Таким образом, ковариационная матрица $\boldsymbol\Sigma$ совпадает (с точностью до обозначений) с матрицей, задаваемой формулой (3) гл. 18. Дальнейшие рассуждения повторяют приведённые во второй части доказательства теоремы 1 гл. 18.

Смысл по-пацански: откуда «минус одна» степень свободы у хи-квадрат? Мост закреплён на концах: сумма всех приращений $\sum\Delta_jB = B(1) - B(0) = 0$. Одна линейная связь — одна потерянная степень свободы.

Все пять предельных законов в одном виджете — выбирай статистику и сравнивай с моделированием:

Проверь себя