§5. Критерий ранговых сумм Уилкоксона: кто стоит правее

Критерий ранговых сумм Уилкоксона применяется для проверки гипотезы однородности $H_0$ против альтернативы доминирования $H_2$ (§1), в частности против альтернативы правого сдвига $H_3$.

Статистика

1. Обозначим через $S_j$ ранг порядковой статистики $Y_{(j)}$ ($j = 1, \dots, m$) в вариационном ряду, построенном по объединённой выборке $(X_1, \dots, X_n, Y_1, \dots, Y_m)$.
2. Положим $V = S_1 + \dots + S_m$.

Критерий на статистике $V$ предложил Ф. Уилкоксон в 1945 году для выборок одинакового размера, а на случай $m \ne n$ его распространили Х. Манн и Д. Уитни в 1947 году.

Суть критерия такова: если $H_0$ верна, то значения $Y_{(j)}$ должны быть рассеяны по всему вариационному ряду. Напротив, достаточно большое $V$ указывает на тенденцию преобладания $Y_j$ над $X_i$ — это свидетельство в пользу $H_2$. Критическая область — луч $\{V > c\}$.

Смысл по-пацански: выстрой всех — и иксов, и игреков — в одну шеренгу по росту и пронумеруй. Если игреки в среднем выше, они сгрудятся в конце шеренги, и сумма их номеров будет большой.

Малые выборки. Критические значения $V$ для $n, m \le 25$ есть в таблицах (у Лагутина — ссылка [10]). Распределение $V$ при $H_0$ можно найти точно: каждое из $C^m_{n+m}$ возможных сочетаний $S_1, \dots, S_m$ (расстановок игреков по $n + m$ местам) равновероятно. Например, при $n = 3$, $m = 2$ таких расстановок 10 (вопрос 3):

Большие выборки

Рассмотрим статистику

По кирпичикам: перебираем все $nm$ пар «икс — игрек» и считаем, сколько раз игрек оказался больше. Это счётная форма Манна — Уитни.

При отсутствии совпадений среди $X_i$ и $Y_j$ (задача 4)

так что критерии на $V$ и на $U$ эквивалентны. Ранговая форма Уилкоксона удобнее для вычислений, а через счётную форму легко установить (задача 5), что при $H_0$

(У. Краскел обнаружил, что статистика $U$ появлялась ещё в работе Г. Дехлера, опубликованной в Германии в 1914 году.)

Когда $H_0$ верна и выполнены Д1–Д5,

Поправка Имана

К сожалению, нормальное приближение (7) не обеспечивает достаточной точности при $n, m \le 50$. Например, при $25 \le n, m \le 50$ в 40 % случаев истинные критические точки статистики $V$ отличаются от полученных по (7) более чем на 1. Существенно точнее аппроксимация Р. Имана (1976), использующая полусумму нормальной и стьюдентовской квантилей. Положим $N = n + m$. Критическим $\alpha$-значением статистики

служит $z_\alpha = (x_{1-\alpha} + y_{1-\alpha})/2$, где $x_{1-\alpha}$ и $y_{1-\alpha}$ — квантили уровня $1 - \alpha$ закона $\mathcal N(0, 1)$ и распределения Стьюдента с $N - 2$ степенями свободы. Если $\tilde U^* \ge z_\alpha$, гипотеза $H_0$ отвергается.

Двигай $n$, $m$ и наблюдённое $V$ — сравни точный хвост с нормальным приближением:

Совпадения

Когда среди $n + m$ наблюдений есть одинаковые, $V$ вычисляют по средним рангам: если, например, четыре наименьших значения совпадают, всем им приписывается ранг $(1 + 2 + 3 + 4)/4 = 2{,}5$. При подсчёте $U$ это соответствует весу $1/2$ для нулевой разности $Y_j - X_i$. В приближении (7) надо заменить $\mathbf DU$ на

где $g$ — число групп совпадений среди всех $n + m$ наблюдений, $l_k$ — количество элементов в $k$-й группе. Несовпадающие наблюдения считаются группами размера 1 (они ничего не добавляют, так как $1 \cdot (1 - 1) = 0$).

Оценка параметра сдвига

Для альтернативы правого сдвига $H_3$ в качестве оценки $\theta$ можно взять

При Д1–Д5

где $p(x)$ — плотность закона $F$, а $\sigma^2 = \mathbf DX_1$. Множитель $\sigma^2$ делает $E(F)$ безразмерной: она не меняется при смене масштаба данных. (Величина $E(F)$ уже встречалась в теореме 3 главы 8 — у медианы средних Уолша.)

Откуда берётся $\hat\theta$? При отсутствии совпадений $U$ равно числу положительных разностей $Y_j - X_i$. Естественной оценкой будет такое $\theta'$, при котором наборы $(Y_1 - \theta', \dots, Y_m - \theta')$ и $(X_1, \dots, X_n)$ выглядят как выборки из одного закона. Для таких выборок распределение $U$ симметрично относительно $nm/2$. Приходим к уравнению

Когда $\theta'$ проходит через медиану разностей (10), происходит «перескок» через уровень $nm/2$.

Смысл по-пацански: сдвигаем игреков влево, пока шеренга не станет «перемешанной честно». На сколько сдвинули — такова оценка сдвига.

Доверительный интервал. При больших $n$, $m$ приближённый доверительный интервал для $\theta$ с коэффициентом доверия $1 - 2\alpha$ образуют порядковые статистики $(W_{(k_\alpha+1)}, W_{(nm-k_\alpha)})$. Здесь $W_{(1)} \le \dots \le W_{(nm)}$ — упорядоченные разности $Y_j - X_i$, а $k_\alpha$ — целая часть числа

где $0{,}5$ — поправка на непрерывность (§2 главы 15). Точный интервал для малых выборок строится методом 1 из §3 главы 11, применённым к $g(\mathbf x, \mathbf y, \theta) = \sum_{i,j}I_{\{y_j - x_i > \theta\}}$.

Как доказано в литературе (у Лагутина — ссылка [86]), критерий ранговых сумм состоятелен против альтернативы доминирования $H_2$, в частности против правого сдвига $H_3$.

Пример 1. Однородность нормальных выборок

Если известно, что наблюдения распределены нормально (это можно проверить способами из §4 главы 12), для проверки однородности есть классика. Пусть выборки $(X_1, \dots, X_n)$ и $(Y_1, \dots, Y_m)$ независимы, $X_i \sim \mathcal N(\mu_1, \sigma_1^2)$, $Y_j \sim \mathcal N(\mu_2, \sigma_2^2)$, все параметры неизвестны. Несмещённые оценки дисперсий

(пример 3 главы 6). По теореме 1 главы 11 $(n-1)S_1^2/\sigma_1^2 \sim \chi^2_{n-1}$ и $(m-1)S_2^2/\sigma_2^2 \sim \chi^2_{m-1}$, причём $S_1$ не зависит от $\bar X$, а ввиду независимости выборок — и от $\bar Y$. То же верно для $S_2$.

Определение. Случайная величина $\zeta$ имеет $F$-распределение (Фишера — Снедекора) с $k_1$ и $k_2$ степенями свободы, $\zeta \sim F_{k_1,k_2}$, если

Критерий Фишера. Если верна гипотеза $H'\colon \sigma_1 = \sigma_2$ ($\mu_1$, $\mu_2$ — любые), то статистика $S_1^2/S_2^2$ распределена по закону $F_{n-1,m-1}$. Её критические значения есть в таблице T5.

Если критерий Фишера $H'$ не отвергает, остаётся проверить $H''\colon \mu_1 = \mu_2$. Обозначим общую неизвестную дисперсию через $\sigma^2$. Хи-квадрат — частный случай гамма-распределения ($\chi^2_k \sim \Gamma(k/2, 1/2)$), так что по лемме 1 главы 4

Поскольку среднее $\chi^2_{n+m-2}$ равно $n + m - 2$, статистика $S^2_{tot} = [(n - 1)S_1^2 + (m - 1)S_2^2]/(n + m - 2)$ несмещённо оценивает $\sigma^2$ по объединённой выборке (total — «общий»). При $H''$ имеем $\bar X - \bar Y \sim \mathcal N(0, (1/n + 1/m)\sigma^2)$, и эта разность не зависит от $S_{tot}$ (лемма о независимости из §3 главы 1). По определению закона Стьюдента (пример 4 главы 11)

Это и есть критерий Стьюдента для проверки $H''$; критические значения $t_{n+m-2}$ — в таблице T4.

Почему Уилкоксон практичнее

Хотя критерий Стьюдента оптимален для нормальных выборок, процедура из примера 1 имеет скорее теоретическое значение. Тому две причины.

Во-первых, критические значения статистики $S_1^2/S_2^2$ существенно меняются даже при небольших отклонениях модели от нормальной (задача 6 и замечание 2 при $k = 2$ в главе 16). Устойчивая ранговая альтернатива критерию Фишера, не предполагающая нормальности, — в §2 главы 24.

Во-вторых, эффективность критерия Стьюдента быстро уменьшается при отклонении от строгой нормальности. Асимптотическая относительная эффективность критерия Уилкоксона — Манна — Уитни по сравнению со Стьюдентом против правого сдвига равна $E(F)$ из формулы (11). Возьмём модель Тьюки — смесь нормальных законов из примера 2 главы 8: $F_\varepsilon(x) = (1 - \varepsilon)\Phi(x) + \varepsilon\Phi(x/3)$. Вот как меняется $E(F_\varepsilon)$ при небольшом «утяжелении хвостов»:

(Мы пересчитали таблицу интегрированием. Не забудь множитель $\sigma^2$: у смеси Тьюки $\sigma^2 = 1 + 8\varepsilon$ — именно за счёт роста дисперсии Стьюдент и теряет. Для $\varepsilon = 0{,}08$ у Лагутина 1,301, но точное значение 1,309; остальные числа совпадают.)

По теореме 4 главы 8 эффективность $E(F) = e_{W,\bar X}(F) \ge 0{,}864$ при всех $F \in \Omega_s$ и может быть сколь угодно велика. Иначе говоря, на нормальных данных Уилкоксон теряет у Стьюдента всего 4,5 %, а при выбросах выигрывает многократно.

Смысл по-пацански: Стьюдент — спортсмен, заточенный под идеальный стадион. Чуть кочка — и он спотыкается. Уилкоксон бегает чуть медленнее по идеалу, но по кочкам — заметно быстрее. Реальные данные — всегда с кочками.

Отметим также, что у критерия с $m \ne n$ по сравнению с критерием с $m' = n' = (n + m)/2$ эффективность уменьшается в $1/[4\gamma(1 - \gamma)] > 1$ раз, где $\gamma = n/(n + m)$. Поэтому желательно брать выборки одинаковых размеров, если есть такая возможность. Например, при $n = 40$, $m = 10$ потеря в 1,56 раза.

Проверь себя