§2. Критерий Краскела — Уоллиса: общая шеренга для k групп

Критерий Краскела — Уоллиса применяется для проверки гипотезы $H_0$ против альтернативы

Выполним следующие шаги.

1. Ранжируем все $N$ наблюдений вместе от меньшего к большему. Пусть $R_{ij}$ — ранг наблюдения $X_{ij}$ в этой совместной ранжировке.
2. Положим для $j = 1, \dots, k$

Таким образом, $R_{\cdot j}$ — средний ранг наблюдений $j$-й обработки, $R_{\cdot\cdot}$ — общий средний ранг. 3. Найдём значение статистики критерия Краскела — Уоллиса

Если $H_0$ верна, все $k$ выборок берутся из общей совокупности, поэтому средние ранги $R_{\cdot j}$ не должны сильно отличаться от $R_{\cdot\cdot}$. Это объясняет, почему большие значения $W$ противоречат $H_0$.

По кирпичикам: $W$ — это взвешенный разброс средних рангов групп вокруг общего среднего ранга. Множитель $12/(N(N + 1))$ нормирует его так, чтобы при $H_0$ получилось ровно хи-квадрат в пределе.

Смысл по-пацански: выстроили всех рабочих пяти бригад в одну шеренгу по выработке. Если бригады одинаковые, каждая размазана по всей шеренге, и средние номера у всех около середины. Если одна бригада вся стоит в хвосте, её средний номер далеко от середины, и $W$ взлетает.

Малые и большие выборки

Малые выборки. Гипотезу $H_0$ отвергают, если наблюдённое $w \ge w_\alpha$, где критическая граница для уровня $\alpha$ берётся из таблицы (у Лагутина — ссылка [88], таблица A.7, к сожалению, только для $k = 3$ и $1 \le n_j \le 5$).

Большие выборки. Если $H_0$ верна, то при $\min\{n_1, \dots, n_k\} \to \infty$ статистика $W$ имеет предельным законом хи-квадрат с $k - 1$ степенями свободы. Приближённый критерий уровня $\alpha$: отклонить $H_0$, если $w \ge z_{1-\alpha}$, где $z_{1-\alpha}$ — квантиль $\chi^2_{k-1}$ уровня $1 - \alpha$ (таблица T3).

Поправка. Для выборок среднего размера точность может оказаться недостаточной. Например, при $\alpha = 5\,\%$, $k = 2$ и $n_1 = n_2 = 4, 5, 6$ относительная погрешность ошибки I рода превосходит 33 %. Поправка Р. Имана и Дж. Давенпорта (1976) позволяет существенно уменьшить эту погрешность (для указанного случая в среднем в 5–6 раз). В качестве статистики возьмём

Приближённое критическое значение уровня $\alpha$ для неё

где $z_{1-\alpha}$ и $f_{1-\alpha}$ — квантили уровня $1 - \alpha$ закона $\chi^2_{k-1}$ (таблица T3) и распределения Фишера — Снедекора $F_{k-1,N-k}$ (таблица T5).

Совпадения. Если среди $x_{ij}$ есть одинаковые значения, для $W$ берут средние ранги, а затем заменяют $W$ на

где $g$ — число групп совпадений, $l_m$ — количество элементов в $m$-й группе (несовпадающие $x_{ij}$ — группы размера 1).

Какие именно различаются

Сравнение обработок. Чтобы узнать, какие обработки отличаются друг от друга, О. Данн (1964) предложил приближённый критерий уровня $\alpha$: принять решение $\mu_r \ne \mu_s$, если

где $p = 1 - \alpha/[k(k - 1)]$, $x_p$ — $p$-квантиль $\mathcal N(0, 1)$ (таблица T2).

По кирпичикам: пар обработок $k(k - 1)/2$, и для каждой мы проверяем двустороннюю гипотезу. Чтобы суммарная вероятность хоть одной ложной тревоги не превысила $\alpha$, делим бюджет $\alpha$ поровну между всеми $k(k - 1)$ «хвостами» — это поправка Бонферрони.

Смысл по-пацански: если устроить двадцать проверок по 5 % каждая, одна «значимая» найдётся почти наверняка просто так. Данн честно делит допустимую ошибку на всех.

Оценка контраста. Для значимо различающихся обработок $r$ и $s$ интересен контраст $\Delta_{rs} = \mu_r - \mu_s$. В качестве первичной оценки возьмём оценку сдвига из формулы (10) главы 14:

(Достаточно подсчитать $k(k - 1)/2$ значений при $r < s$, поскольку $V_{sr} = -V_{rs}$.) Далее вычислим взвешенные суммы

и определим уточнённую оценку контраста

Пример 1. Содержание влаги

Были взяты 14 образцов продукта, которые случайным образом разбили на пять групп заданных размеров. Все группы хранились в разных условиях, а после хранения у всех образцов определили содержание влаги (в %; в скобках — ранг $R_{ij}$):

Статистика $W = 8{,}39$. Учитывая два совпадения, $W' \approx 8{,}43$. Для $\chi^2_4$ по таблице T3 линейной интерполяцией находим приближённый фактический уровень значимости $\alpha_0 \approx 8\,\%$.

Так как выборки малы, сделаем поправку Имана и Давенпорта. По (2) $\tilde W \approx 12{,}51$ (подставляя $W'$). Для $\alpha = 5\,\%$: $z_{1-\alpha} = 9{,}49$ ($\chi^2_4$), $f_{1-\alpha} \approx 3{,}63$ ($F_{4,9}$). Отсюда $\tilde w_\alpha \approx 12{,}01 < 12{,}51$ — гипотеза однородности отвергается даже на уровне 5 %. (Относительная ошибка грубого приближения $\alpha_0 = 8\,\%$ составляет $(8 - 5)/5 = 60\,\%$.)

Какие способы хранения различаются? Поскольку $n_j$ малы, возьмём уровень побольше, скажем $\alpha = 0{,}15$ (когда данных мало, функция распределения $|R_{\cdot r} - R_{\cdot s}|$ растёт большими скачками, и жёсткие условия неразумны). Для $p = 0{,}9925$ имеем $x_p \approx 2{,}43$. Неравенство (4) выполняется только для пары $(2, 4)$: $|R_{\cdot2} - R_{\cdot4}| = 8{,}50 \ge C_{24} = 8{,}31$. Так что при вероятности ошибочного решения 0,15 способы хранения 2 и 4 различаются значимо.

Оценим контраст $\Delta_{42}$. Первичные оценки:

Уточнённая оценка $\hat\Delta_{42} = W_4 - W_2 \approx 2{,}47$ мало отличается от первичной $V_{42} = 2{,}5$.

Все эти числа виджет пересчитывает сам — переключи Данна на $\alpha = 0{,}15$:

Комментарии

1. Распределение $W$ при $H_0$ можно получить так: все $N!/(n_1!\dots n_k!)$ возможных наборов по $n_1$ рангов для первой выборки, …, $n_k$ рангов для $k$-й равновероятны (формула 3 главы 10). Для каждого набора считаем $W$ и заносим в таблицу. (Вероятность $\mathbf P(W \ge 2)$ при $k = n_1 = n_2 = 2$ — вопрос 1.)

2. Неоднородность некоторой пары выборок может быть замаскирована присутствием других. Как заметил К. Габриэль (1969), значение $W$ для подмножества выборок может превзойти значение для всех выборок. Пусть выборке 1 соответствуют ранги 8, 9, 10, 11, выборке 2 — ранги 1, 2, 6, 7, выборке 3 — ранги 3, 4, 5, 12. Тогда для выборок 1 и 2 ($k = 2$) $w_{sub} \approx 5{,}333$, а для всех трёх $w_{tot} \approx 4{,}769$. Этот же изъян присущ статистике Фридмана из следующей главы.

3. Приближённые границы $C_{rs}$ в (4) рассчитаны в предположении, что $H_0$ верна. Когда она неверна, способность метода Данна обнаруживать различия резко уменьшается с ростом $k$. Это видно из примера 1 с $k = 5$: на уровне 0,15 мы приняли $\mu_2 \ne \mu_4$, а уже на уровне 0,1 ($x_p = 2{,}58$, $C_{24} = 8{,}81 > 8{,}50$) не смогли бы. (При этом критерий ранговых сумм, применённый к одной лишь паре 2 и 4, даёт фактический уровень 0,05.) В защиту такого консервативного подхода в руководстве [88] приводится другая крайность — склонность различать неразличимое. Перескажем их мысль: рекламируя новое лекарство, фирма неизменно заявляет, что оно эффективнее всех известных. Если сравнивать со многими препаратами по отдельности, то даже при одинаково бесполезных лекарствах какое-нибудь сравнение «выстрелит» случайно — и чем больше сравнений, тем легче получить желаемый вывод. Правильнее требовать метод множественных сравнений.

4. При оценке контрастов первичными оценками $V_{rs}$ сталкиваемся с неприятным обстоятельством: они не удовлетворяют линейным соотношениям, которые выполняются для самих контрастов. Так, $\Delta_{42} = \Delta_{41} + \Delta_{12}$, но $V_{42} \ne V_{41} + V_{12}$ ($2{,}5 \ne 1{,}2 + 1{,}2$ в примере 1). На это обратил внимание Э. Леман. Э. Спетволль (1968) предложил уточнённые оценки (5)–(6), которые не только согласованы, но и состоятельны, когда $n_r, n_s \to \infty$, а остальные $n_j$ фиксированы. Недостаток $\hat\Delta_{rs}$ — зависимость от выборок с номерами, отличными от $r$ и $s$.

5. Если ошибки $\varepsilon_{ij}$ в (1) нормальны, асимптотическая эффективность Краскела — Уоллиса относительно оптимального $F$-критерия однофакторного дисперсионного анализа (статистика (9) ниже) равна $E(F_\varepsilon)$ из формулы (11) главы 14, то есть $3/\pi \approx 0{,}955$. При тяжёлых хвостах Краскел — Уоллис выигрывает.

Пример 2. Нормальные выборки

Если наблюдения $X_{ij}$ нормальны (или очень похожи на нормальные), можно воспользоваться классикой. Пусть все $X_{ij} \sim \mathcal N(\mu_j, \sigma_j^2)$ независимы, параметры $\mu_j$ и $\sigma_j$ неизвестны. Несмещённые оценки (пример 3 главы 6):

Сначала дисперсии. Для проверки $H'\colon \sigma_1 = \dots = \sigma_k$ ($\mu_j$ любые) обычно используют критерий Бартлетта. Его статистика — отношение взвешенных среднего арифметического и среднего геометрического величин $S_1^2, \dots, S_k^2$:

Если $H'$ верна и все $n_j > 3$, статистика

приближённо имеет $\chi^2_{k-1}$-распределение. Критерий Бартлетта обобщает критерий Фишера из примера 1 главы 14 (задача 6). Почему большие $B$ противоречат $H'$ — вопрос 2.

Потом средние. Когда $H'$ принимается, остаётся проверить $H''\colon \mu_1 = \dots = \mu_k$. Для этого используется $F$-критерий однофакторного дисперсионного анализа (§4 главы 21), основанный на

которое при $H''$ распределено точно по закону $F_{k-1,N-k}$ для любых $n_j > 1$.

Доказательство. По условию $\sigma_1 = \dots = \sigma_k = \sigma$. Так как $R$ не зависит от $\sigma$, можно считать $\sigma = 1$. По теореме 1 главы 11 для каждой выборки

Выборки независимы, хи-квадрат — частный случай гамма-распределения, поэтому из (10) и леммы 1 главы 4

$V_{int}$ — мера изменчивости внутри выборок (interior — внутренний). С другой стороны, $X_{\cdot j} \sim \mathcal N(\mu_j, 1/n_j)$ независимы между собой, поэтому (задача 4) при $H''$

$V_{out}$ — мера разброса между выборками (outside — внешний). По теореме 1 главы 11 $X_{\cdot1}, \dots, X_{\cdot k}$ не зависят от $S_1, \dots, S_k$, а $X_{\cdot\cdot} = \frac1N\sum n_jX_{\cdot j}$ — их линейная комбинация. По лемме о независимости из §3 главы 1 $V_{int}$ и $V_{out}$ независимы, и определение закона Фишера — Снедекора завершает доказательство. $\blacksquare$

Замечание 1. Для любых $X_{ij}$ верно тождество (задача 3)

Общая изменчивость $V_{tot}$ (total) распадается на слагаемые, каждое из которых представляет свой источник — отсюда название «дисперсионный анализ». Статистика Краскела — Уоллиса $W$ — это нормированная $V_{out}$ для рангов $R_{ij}$, а $F$-критерий $R$ — отношение нормированных $V_{out}$ и $V_{int}$.

Смысл по-пацански: весь разброс выработки = разброс внутри бригад (люди разные) + разброс между бригадами (бригады разные). Если второе велико по сравнению с первым — бригады действительно отличаются.

Проверим тождество (13) и посчитаем $F$ и Краскела — Уоллиса на одних данных:

Замечание 2. Критерий Бартлетта весьма чувствителен даже к небольшим отклонениям от нормальности. Пусть все наблюдения распределены по закону Стьюдента $t_7$ с 7 степенями свободы, очень похожему на $\mathcal N(0, 1)$. Сравним функции распределения:

Наибольшее отличие $\Delta_{max} = 0{,}022$ при $x \approx 1{,}5$. Обозначим через $b_\alpha$ критическое значение уровня $\alpha$ статистики $B$. Г. Бокс (1953) установил, что даже для больших выборок при замене $\mathcal N(0, 1)$ на $t_7$ эта вероятность меняется драматически. Для $\alpha = 5\,\%$:

Статистик, уверенный, что работает на уровне 5 %, в действительности может иметь дело с уровнем 49 %!

Откуда такие числа? При больших выборках $\ln S_j^2$ ведёт себя как нормальная величина с дисперсией $(2 + \kappa)/n_j$, где $\kappa$ — эксцесс закона (для нормального $\kappa = 0$, для $t_7$ $\kappa = 6/(7 - 4) = 2$). Критерий же рассчитан на $\kappa = 0$, так что $B^*$ оказывается в $1 + \kappa/2$ раз больше «положенного» $\chi^2_{k-1}$. Для $t_7$ это множитель 2, и истинный уровень равен $\mathbf P(\chi^2_{k-1} \ge \chi^2_{k-1;\,0{,}95}/2)$ — 16,6 %, 31,5 % и 48,9 %: таблица Бокса воспроизводится. При 50 наблюдениях в группе моделирование даёт пока чуть меньше (13 %, 24 %, 38 %).

В книге по робастной статистике (у Лагутина — ссылка [84]) эта тема подытожена так (своими словами): раньше считали, что отклонения от идеальных моделей несущественны и что процедуры, оптимальные в строгой модели, останутся примерно такими же в приближённой. Увы, эти надежды часто не имеют почвы: даже безобидные отклонения вызывают эффекты гораздо более сильные, чем ожидало большинство статистиков.

Смысл по-пацански: Бартлетт — как весы, откалиброванные под идеальные гири. Чуть другая форма гирь — и весы врут вдвое. Ранговые критерии про форму гирь вообще не спрашивают.

Проверь себя