§2. Проверка равномерности: Колмогоров и омега-квадрат

Орбиты планет и комет

Пример 1. В 1734 году Французская академия присудила Даниилу Бернулли премию за исследование орбит планет, в котором он пытался показать, что схожесть орбит неслучайна. Если Солнце и планеты образовались в результате концентрации вещества первоначального «волчка», то по закону сохранения момента импульса орбиты планет должны лежать примерно в одной плоскости — что и наблюдается.

В 1812 году Лаплас исследовал похожую проблему: образовались ли и кометы в общем «волчке» или же они — всего лишь «гости», захваченные притяжением Солнца? В последнем случае углы между нормалями к плоскостям орбит комет и вектором момента должны не концентрироваться вблизи нуля, а быть равномерно распределены на отрезке $[0, \pi/2]$. Обработав известные к тому времени астрономические данные, Лаплас пришёл к выводу, что гипотеза о равномерности не отвергается.

Каким же образом можно проверить гипотезу равномерности? Рассмотрим несколько методов.

Метод 1. Критерий Колмогорова

Статистикой критерия является

где $\hat F_n(x) = \frac1n\sum_{i=1}^n I_{\{X_i \le x\}}$ — эмпирическая функция распределения (§1 главы 9), а $F(x)$ — функция распределения элементов выборки при гипотезе. Для равномерного закона на $[0, 1]$ это $F(x) = x$, и $D_n$ — наибольшее расстояние по вертикали между лесенкой и диагональю.

Для любого фиксированного $x_0$ по усиленному закону больших чисел $\hat F_n(x_0)$ — частота попаданий $X_i$ левее $x_0$ — с вероятностью 1 стремится к $F(x_0)$. Теорема Гливенко утверждает больше: для произвольной функции распределения $D_n \to 0$ с вероятностью 1 — сходимость равномерная по всем $x$ сразу. Поэтому при верной гипотезе $D_n$ для большой выборки не должно существенно отклоняться от нуля.

Как количественно оценить значимость отклонения? По ЦПТ

то есть в фиксированной точке отклонение имеет порядок $1/\sqrt n$. Оказывается, и $D_n$ имеет тот же порядок малости.

Теорема Колмогорова. Если функция распределения $F(x)$ элементов выборки непрерывна, то для $x > 0$

$$\lim_{n\to\infty}\mathbf{P}(\sqrt n\,D_n \le x) = K(x) = 1 + 2\sum_{k=1}^\infty(-1)^ke^{-2k^2x^2}.$$

Быстрая сходимость к пределу позволяет пользоваться этим приближением уже при $n \ge 20$.

Замечание 1. Особенность статистики $D_n$ в том, что её закон один и тот же для всех непрерывных $F$ — он зависит только от $n$. Действительно, полагая в (2) $x = F^{-1}(y) = \sup\{x : F(x) = y\}$, $0 \le y \le 1$, получаем $D_n = \sup_{0 \le y \le 1}|\hat F_n(F^{-1}(y)) - y|$. По методу обратной функции (глава 4) величины $Y_i = F(X_i)$ образуют выборку из равномерного закона на $[0, 1]$. В силу монотонности и непрерывности $F$ неравенства $x \le F^{-1}(y)$ и $F(x) \le y$ эквивалентны. Поэтому

— эмпирическая функция выборки $Y_1, \dots, Y_n$. Любая проверка «закон равен $F$» сводится к проверке равномерности чисел $F(X_i)$.

Смысл по-пацански: неважно, что ты проверяешь — рост пацанов или время ожидания автобуса. Прогони данные через гипотетическую $F$, и если гипотеза верна, получишь равномерную кашу на $[0, 1]$. А для неё таблица одна на всех.

Квантили функции $K(x)$:

Таким образом, на уровне значимости $\alpha$ критерий Колмогорова отвергает гипотезу равномерности, если $\sqrt n\,D_n(x_1, \dots, x_n) \ge x_{1-\alpha}$.

Как считать. Так как $F$ непрерывна и не убывает, а $\hat F_n$ кусочно-постоянна, супремум в (2) достигается в одной из точек разрыва $\hat F_n$:

Смотреть надо и на верхний край ступеньки, и на нижний (вопрос 2). В задаче 1 критерий применяется для проверки таблицы случайных чисел. Задача 3 показывает, что условие непрерывности $F$ в теореме Колмогорова необходимо.

Метод 2. Критерии омега-квадрат

Статистика $D_n$ измеряет отклонение $\hat F_n$ от $F$ в равномерной метрике — по самому худшему месту. Если воспользоваться (взвешенной) квадратичной метрикой, получим статистику критерия омега-квадрат:

где $\psi(y)$ — заданная на $[0, 1]$ весовая функция. Рассмотрим два варианта:

• $\psi_1 = 1$ — критерий Крамера — Мизеса;
• $\psi_2(y) = 1/[y(1 - y)]$ — критерий Андерсона — Дарлинга.

Первый хорошо улавливает расхождение $\hat F_n$ и $F$ в области «типичных значений» и часто оказывается более чувствительным, чем критерий Колмогорова. Второй, благодаря тому что $\psi_2(y)$ быстро растёт при $y \to 0$ и $y \to 1$, способен заметить различие на хвостах распределения, которым придаётся дополнительный вес.

Так же, как для $D_n$, закон $\omega_n^2(\psi)$ один и тот же для всех непрерывных $F$, и существуют предельные законы $A_1(x)$ и $A_2(x)$ для $n\omega_n^2(\psi_1)$ и $n\omega_n^2(\psi_2)$. Их квантили $y_p$ и $z_p$:

(Мы сверили таблицу моделированием на 20 000 равномерных выборках объёма 100 — совпадает с точностью до сотых.)

Значения статистик вычисляются по формулам (первая выводится в задаче 4):

В главе 18 появится ещё один критерий — хи-квадрат, с помощью которого можно проверять равномерность по сгруппированным данным.

Пощупай руками

Выбери закон: равномерный (гипотеза верна) или одну из альтернатив. Синяя лесенка — $\hat F_n$, зелёная диагональ — гипотеза, красная вертикаль — где отклонение наибольшее. В таблице — три статистики и их фактические уровни значимости: для Колмогорова по предельному закону $K(x)$ и моделированием, для омега-квадрат — моделированием (раз законы свободны от распределения, достаточно гонять равномерные выборки).

Пощёлкай альтернативы. Мы заранее прогнали 4000 выборок объёма 30 для каждой и посчитали, как часто критерий на уровне 0,05 отвергает гипотезу (это называется мощностью, глава 13):

На перекосе квадратичные критерии чуть сильнее Колмогорова. На U-образном законе, где всё решают края, Андерсон — Дарлинг сильнее остальных в два с лишним раза. А горб и маленький сдвиг при $n = 30$ почти никто не ловит — подними $n$ до 200 и посмотри, как всё меняется.

Проверь себя