§2. Медианы неизвестны и неравны

Статистическая модель

Имеется две группы наблюдений: $X_1, \dots, X_n$ и $Y_1, \dots, Y_m$:

где $\mu_1$ и $\mu_2$ — неизвестные медианы совокупностей (мешающие параметры), $\sigma_1$ и $\sigma_2$ — неизвестные (интересующие нас) параметры масштаба, $\varepsilon_i$ и $\varepsilon_j'$ — случайные ошибки.

Допущения те же, что и в §1.

Для проверки гипотезы $H_0\colon \sigma_1 = \sigma_2$ используется следующий критерий.

Смысл по-пацански: теперь районы стоят у разных столбов, и где эти столбы — нам неизвестно и неинтересно. Хотим сравнить только разброс. Значит, нужна статистика, которой плевать, где столб.

Свободный от распределения похожий на ранговый критерий Мозеса

1. Задать целое $k \ge 2$ и случайным образом разбить каждую из групп наблюдений на $n' = [n/k]$ и $m' = [m/k]$ подгрупп размера $k$ соответственно (здесь $[\cdot]$ — целая часть числа). Все не вошедшие в подгруппы наблюдения отбросить.
2. Обозначить через $X_{1r}, \dots, X_{kr}$ $k$ наблюдений, попавших в $r$-ю подгруппу для $X$, $r = 1, \dots, n'$, а через $Y_{1s}, \dots, Y_{ks}$ — $k$ наблюдений, попавших в $s$-ю подгруппу для $Y$, $s = 1, \dots, m'$.
3. Подсчитать $C_1, \dots, C_{n'}$ по формулам

4. Подсчитать $D_1, \dots, D_{m'}$ по формулам

5. Применить к $C_1, \dots, C_{n'}$ и $D_1, \dots, D_{m'}$ критерий ранговых сумм Уилкоксона — Манна — Уитни (см. §5 гл. 14).

Если $H_0$ не выполняется, например, $\sigma_1 < \sigma_2$, то величины $D_s$ имеют тенденцию превосходить величины $C_r$. Это приводит к увеличению рангов $D_s$ и, как следствие, к большим значениям статистики критерия ранговых сумм.

По кирпичикам: $C_r = \sum_t(X_{tr} - \overline X_r)^2$ — сумма квадратов отклонений от среднего своей подгруппы (это та же формула, раскрытая). Сдвинь все $X$ на константу — каждое отклонение от среднего не изменится. Поэтому $C_r$ и $D_s$ не зависят от $\mu_1$ и $\mu_2$, а только от разброса: $C_r$ распределены как $\sigma_1^2\cdot(\text{что-то})$, $D_s$ — как $\sigma_2^2\cdot(\text{то же самое})$. Дальше — обычная двухвыборочная задача о сдвиге для логарифмов $\log C$ и $\log D$, а её решает Уилкоксон.

Смысл по-пацански: раздели каждый район на бригады по $k$ человек и в каждой бригаде померь, насколько пацаны разношёрстны между собой. Где стоит столб района — уже неважно: разношёрстность внутри бригады от столба не зависит. Теперь сравни бригады чужих с бригадами наших — обычным ранговым критерием.

Оценка отношения коэффициентов масштаба

В случае невыполнения $H_0$ представляет интерес величина $\gamma = \sigma_2/\sigma_1$. Для её оценивания Г. Шорак в 1969 г. предложил следующую процедуру.

1. Вычислить $n'm'$ отношений $D_s/C_r$, $r = 1, \dots, n'$, $s = 1, \dots, m'$.
2. Обозначить через $Q_{(1)} \le \dots \le Q_{(n'm')}$ упорядоченные значения отношений $D_s/C_r$.
3. Взять в качестве оценки

(У Лагутина в нечётном случае напечатано $Q_{(l)}$; медиана $2l + 1$ чисел — это $(l + 1)$-е по порядку.)

По кирпичикам: $D_s/C_r$ — оценка отношения дисперсий $\sigma_2^2/\sigma_1^2$. Медиана всех таких отношений — устойчивая оценка этого отношения (по духу — как оценка Ходжеса — Лемана сдвига через медиану попарных разностей из гл. 14, только для логарифмов). Корень превращает отношение дисперсий в отношение масштабов. При чётном числе отношений медиана берётся как среднее геометрическое двух центральных — отсюда корень четвёртой степени из произведения.

Пример 2. Мигрени без предположения о равенстве медиан

Применим критерий Мозеса к данным из примера 4 гл. 23. Сравним рассеяния измерений в группах I и II по компоненте $X$ без предположения о равенстве медиан совокупностей (использовавшегося в примере 1 ранее).

Если задать $k = 8$, то в первой выборке размера $n = 41$ потребуется отбросить всего одно наблюдение ($n' = 5$), а во второй выборке размера $m = 58$ — два наблюдения ($m' = 7$). Для выбора номеров отбрасываемых наблюдений у Лагутина использовалась таблица равномерных случайных чисел T1, читаемая по строкам: 10, 09, 73, 25, … В соответствии с ними в первой выборке отброшен элемент с номером 10, а во второй — с номерами 9 и 25 (число 73 больше $m = 58$ — его игнорируем).

Далее оставшиеся наблюдения группы I были случайным образом разбиты на подгруппы размера 8. Это удобно делать так: продолжаем считывать таблицу T1; первую цифру каждого числа принимаем за номер подгруппы, в которую отправляется очередной элемент выборки (ноль и цифры больше $n' = 5$ игнорируем); заполненная подгруппа выбывает из розыгрыша. Аналогично разбиваются на $m' = 7$ подгрупп наблюдения группы II.

По кирпичикам: зачем такие сложности со случайными числами? Чтобы разбиение не зависело от самих данных и от желаний исследователя. Если подгруппы подбирать «по вкусу», можно получить любой результат — см. комментарий 2.

Результаты разбиения (рис. 1 у Лагутина) и соответствующие $C_r$, $D_s$:

Видим, что все $C_r$ больше любого из $D_s$. При справедливости гипотезы $H_0$ все $C_{12}^5 = 792$ взаимных расположений пяти $C$ и семи $D$ равновероятны, так что вероятность этого равна $1/792 \approx 0{,}0013$ (у Лагутина — «менее 0,001»; на вывод это не влияет: гипотеза отвергается на уровне 0,01). Таким образом, приходим к тому же выводу, что и в примере 1: рассеяние в группе I по компоненте $X$ значимо больше, чем в группе II.

Путём написания простой программы для процедуры Шорака у Лагутина было подсчитано значение оценки для «отношения разбросов» $1/\gamma = \sigma_1/\sigma_2$, равное 3,112. Наш пересчёт по тому же разбиению даёт $3{,}122$: отношений $5\cdot7 = 35$, медиана — 18-е по порядку, $Q_{(18)} = 10{,}0/97{,}5 \approx 0{,}1026$, и $1/\sqrt{0{,}1026} \approx 3{,}122$.

Смысл по-пацански: у настоящих больных разброс длительности приступа втрое больше, чем у «размноженных». Это и есть след подделки: копии с лёгким шумом не могут воспроизвести живое разнообразие.

Посчитай сам — критерий Мозеса и оценку Шорака по разбиению из книги:

Комментарии

1. Г. Шорак рекомендует выбирать размер подгрупп $k$ как можно больше (но не более 10), однако не делая $n'$ и $m'$ настолько малыми, что распределение соответствующей статистики критерия ранговых сумм Уилкоксона — Манна — Уитни не сможет обеспечить разумный уровень значимости. Размер подгрупп $k$ надо выбирать, учитывая только размеры выборок $n$ и $m$. Холлендер и Вулф предостерегают: неверно подбирать различные значения $k$ до тех пор, пока не получится значимый результат, — такой подход делает незаконными все выводы.

По кирпичикам: большое $k$ — каждая $C_r$ точнее оценивает разброс, но подгрупп мало. При $n' = m' = 2$ всего $C_4^2 = 6$ расположений, минимальный достижимый двусторонний уровень — $2/6$: значимости не получить никогда. Маленькое $k$ — подгрупп много, но каждая $C_r$ «шумная».

2. У критерия Мозеса есть недостаток: два человека, обрабатывая одни и те же данные, могут получить различные выводы при одном и том же уровне значимости $\alpha$. Эта возможность возникает из-за случайности процесса разбиения на подгруппы. Иными словами, повторное применение критерия Мозеса к тем же данным, но с другим разбиением на подгруппы, может привести к противоположным выводам. В связи с этим подчеркнём, что при использовании критерия допускается лишь одна чисто случайная группировка. Совершенно недопустимо манипулировать группировками для достижения значимого результата!

Смысл по-пацански: перетасовать бригады, пока «не сойдётся», — это напёрсточник, а не статистика. Жребий бросают один раз, и до того, как посмотрели на результат.

Переключи виджет на «300 разбиений»: на наших данных разница в разбросе настолько велика, что почти любое разбиение даёт значимый результат, но оценка Шорака гуляет от 2,3 до 4,5, — а на данных «пограничных» доля противоположных выводов может быть очень заметной.

3. М. Холлендер в 1968 г. показал, что при выполнении гипотезы $H_0$ и симметричности распределения статистика критерия Мозеса и статистика критерия ранговых сумм Уилкоксона — Манна — Уитни некоррелированы и асимптотически независимы. Это влечёт те же заключения, что и в комментарии 2 из §1: при совместном применении на уровнях $\alpha_1$ и $\alpha_2$ общий уровень приближённо $\alpha_1 + \alpha_2 - \alpha_1\alpha_2$.

4. Известны и другие критерии для проверки гипотезы $H_0$, применимые для выборок большого размера. Так, Холлендер и Вулф приводят критерий Миллера, основанный на методе «складного ножа» (jackknife). Он обладает более высокой эффективностью сравнительно с критерием Мозеса, но свободен от распределения лишь асимптотически.

Мозес против Ансари — Брэдли

В моделировании ниже поставь отношение масштабов 2 и двигай мешающий сдвиг медиан: при сдвиге 0 Ансари — Брэдли немного мощнее (он использует все наблюдения, а не суммы по подгруппам), но уже при сдвиге в 2σ его мощность падает вдвое, а при 3σ — почти до нуля. Мощность Мозеса от сдвига не зависит вовсе.

Смысл по-пацански: Ансари — Брэдли — острый, но капризный инструмент: работает, только когда центры совпадают. Мозес — грубее, зато ему всё равно, где центр. Знаешь, что медианы равны, — бери Ансари — Брэдли. Не уверен — Мозес.

Проверь себя