§3. Двухвыборочная модель

Сравним две многомерные независимые выборки размеров $n$ и $m$. Пусть $\boldsymbol X_1, \dots, \boldsymbol X_n$ и $\boldsymbol Y_1, \dots, \boldsymbol Y_m$ — выборки из $p$-мерных распределений с функцией распределения $F(x_1, \dots, x_p)$ и $F(x_1 - \Delta_1, \dots, x_p - \Delta_p)$ соответственно. Выборки представляются в виде двух таблиц размеров $n \times p$ и $m \times p$, которые удобно объединить в общую матрицу данных $\boldsymbol D$ размера $N \times p$, где $N = n + m$:

Предположим, что верно допущение Д1 из §2, а также выполнено условие

Д5. Выборки $\boldsymbol X_1, \dots, \boldsymbol X_n$ и $\boldsymbol Y_1, \dots, \boldsymbol Y_m$ независимы между собой (другими словами, строки матрицы $\boldsymbol D$ независимы).

Отметим, что допущения о симметрии закона $F$ не делается. Параметр $\boldsymbol\Delta = (\Delta_1, \dots, \Delta_p)$ задаёт величину сдвига распределения $\boldsymbol Y$ относительно распределения $\boldsymbol X$. Мы хотим проверить гипотезу

Смысл по-пацански: два района, у пацанов меряют по несколько параметров. Вопрос: один и тот же «расклад» у обоих, или один район целиком съехал относительно другого? Форма облака может быть любой кривой — лишь бы у обоих районов одинаковой.

Многомерное обобщение критерия ранговых сумм Уилкоксона — Манна — Уитни

(См. §5 гл. 14.) Пусть $\boldsymbol W = (W_1, \dots, W_p)$, где

где $N = n + m$, $R_{lj}$ — ранг $Y_{lj}$ относительно элементов $j$-го столбца матрицы $\boldsymbol D$. (Для удобства вычислений удобно преобразовать $\boldsymbol D$ в матрицу $\boldsymbol R$ из рангов по столбцам.) Ниже мы покажем, что $W_j$ — это центрированная сумма рангов: $\mathsf MW_j = 0$ при $H_0$.

По кирпичикам: в каждом столбце (по каждому признаку) ранжируем всех $N$ объектов вместе, а потом складываем ранги объектов второй выборки. Если второй район «выше» по признаку $j$, его ранги будут большими, и $W_j > 0$; если «ниже» — $W_j < 0$.

Следующая теорема даёт предельное распределение статистики $N^{-1/2}\boldsymbol W$ при справедливости нулевой гипотезы.

Теорема 3. Пусть верна гипотеза $H_0$ и выполнены допущения Д1, Д5. Предположим, что $n, m \to \infty$ и $n/N \to \gamma$, $0 < \gamma < 1$. Тогда

где $\boldsymbol V = \|v_{jk}\|_{p\times p}$, $v_{jj} = \gamma(1 - \gamma)/12$,

(Доказательство теоремы 3 можно найти в монографии Хеттманспергера.)

Покажем, что $\mathsf MW_j = 0$ при справедливости гипотезы $H_0$. В соответствии с обозначениями из §5 гл. 14 формулу (9), определяющую статистику $W_j$, можно записать в виде

где $V_j = \sum_{l=1}^mR_{lj}$. Согласно формулам (5) и (6) гл. 14 имеем

Здесь $U_j = \sum_{i=1}^n\sum_{l=1}^mI_{\{X_{ij}<Y_{lj}\}}$ (см. формулу (4) гл. 14). Остаётся взять математическое ожидание обеих частей равенства (10) и подставить туда соотношение (11).

По кирпичикам: $\mathsf MW_j = \frac{m(N+1)/2}{N+1} - \frac m2 = 0$. Ещё проще без формул: при $H_0$ все $N$ объектов перемешаны случайно, средний ранг — $(N+1)/2$, у $m$ объектов второй выборки в среднем сумма $m(N+1)/2$.

Для построения критерия (см. §1) нужна состоятельная оценка $\hat{\boldsymbol V}$ для асимптотической матрицы ковариаций $\boldsymbol V$. В силу (10) и формул (5)–(6) гл. 14

На основании этого возьмём

Далее, если в формулу, определяющую $v_{jk}$ (см. утверждение теоремы 3), вместо $F_j(x)$, $F_k(y)$ и $F_{jk}(x, y)$ подставить одномерные и двумерную эмпирические функции распределения, то получим оценку

(Таким образом, потребуется вычислять скалярные произведения столбцов матрицы рангов $\boldsymbol R$.) Используя формулы (12) и (13) для определения элементов $\hat{\boldsymbol V}$, получим, что при справедливости гипотезы $H_0$ статистика критерия

распределена в пределе по закону $\chi^2_p$ при условии невырожденности матрицы $\boldsymbol V$.

По кирпичикам: в (13) эмпирическая функция $\hat F_j$ в точке $j$-го признака $t$-го объекта равна примерно $R_{tj}/(N+1)$. Интеграл $\iint F_jF_k\,dF_{jk}$ превращается в среднее $\frac1N\sum_tR_{tj}R_{tk}/(N+1)^2$. Если признаки независимы, это среднее близко к $\tfrac12\cdot\tfrac12 = \tfrac14$ — и $\hat v_{jk} \approx 0$. Чем сильнее ранги по двум признакам «ходят вместе», тем больше $\hat v_{jk}$.

Смысл по-пацански: та же схема из §1, только улики — суммы рангов второй выборки по каждому признаку. Ранги не боятся выбросов: чудак с диким значением получает просто последний ранг, а не сносит всю статистику.

Пример 4. Обнаружение фальсификации данных

Исследователю-медику требовалось провести статистическую обработку данных из области диагностики пациентов, страдающих мигренями. При этом таблица данных состояла их двух частей: часть I составляли наблюдения, полученные самим исследователем, часть II — заимствованные данные.

У исследователя имелись основания сомневаться в добросовестности сторонней информации. Возникали подозрения, что данные были получены следующим образом: реально были записаны характеристики головной боли лишь небольшой группы больных, затем они были многократно дублированы и немного искажены («зашумлены»), чтобы не было заметно периодичности. (Забегая вперёд, скажем, что проводимый ниже статистический анализ подтверждает наличие фальсификации.)

Смысл по-пацански: классическая «липа»: переписал десяток анкет, размножил, в каждой копии чуть подправил цифры — вроде как разные люди. Глазом не поймать. А статистика ловит: у «размноженных» слишком много совпадений и слишком маленький разброс — живые люди так ровно не болеют.

Для обнаружения различия между частями I и II таблицы было проведено исследование, состоящее из нескольких этапов.

1. Отбор больных и признаков. Из обеих частей таблицы были отобраны (с помощью фильтра в программе Excel) пациенты с диагнозом «Эпизодическая головная боль напряжения»: в группе I оказалось $n = 41$ таких больных, в группе II — $m = 58$ больных.

Среди ряда характеристик головной боли (таких, как средняя интенсивность боли, характер боли, её локализация и т. д.) для анализа были взяты два признака: $X$ — средняя длительность одного приступа (часы) и $Y$ — средняя частота приступов в месяц (дни).

О таблице данных

Таблица рис. 4 у Лагутина испорчена при наборе, и по ней числа книги не воспроизводятся:

• в ней 40 и 57 пар вместо 41 и 58;
• в одном из столбцов группы II у значений $Y$ потеряна ведущая единица: напечатано 0, 2, 4 там, где должно быть 10, 12, 14 (на рис. 5 у Лагутина серые квадраты как раз стоят на уровнях 12 и 14, а не у нуля).

Мы восстановили таблицу: вернули единицы и перебором нашли недостающие строки — $(2{,}5;\ 8)$ в группе I и $(3;\ 10)$ в группе II. Решение оказалось единственным, и с ним сходятся все числа книги: объёмы, средние, стандартные отклонения, число различных точек (31 и 21), вектор $\boldsymbol W$, матрица $(N\hat{\boldsymbol V})^{-1}$, $W^* = 21{,}28$ и одномерные статистики 0,93 и 4,6. В виджете можно переключиться и на таблицу «как напечатано».

2. Визуальный анализ. На основе указанных данных была построена диаграмма рассеяния на плоскости $(X, Y)$. Парам $(X_i, Y_i)$, относящимся к группе I, соответствуют чёрные точки, а парам, относящимся к группе II, — квадраты.

Рассматривая диаграмму, приходим к ряду выводов.

1. Центр «облака» квадратов смещён вверх по оси $Y$ относительно центра «облака» чёрных точек.
2. Очевидно, что у квадратов разброс по обеим координатам намного меньше, чем у чёрных точек.
3. «Облако» квадратов имеет округлую форму, в то время как «облако» чёрных точек совсем не похоже на реализацию выборки из двумерного нормального закона. Обычно такая реализация (после исключения нескольких «выбросов») имеет вид эллипса, густо заполненного точками в центральной части и реже — по краям. В нашем же случае скорее наблюдается уменьшение плотности точек (расширение «облака») при увеличении значений обоих признаков, т. е. «облако» чёрных точек имеет форму «веера» (см. рис. 1, б в §2).
4. Количество совпадений в группе II намного больше, чем в группе I: для $m = 58$ представителей группы II на диаграмме присутствуют только 21 квадрат ($21/58 \approx 0{,}36$), а для $n = 41$ представителя группы I — 31 чёрный кружок ($31/41 \approx 0{,}76$).

По кирпичикам: пункт 4 — главная улика «размножения». Если бы пациенты были настоящими, доля различных точек в двух группах была бы похожей (признаки одинаково грубо округлены — до получаса и до дня). У группы II различных точек вдвое меньше на одного человека.

3. Статистическая проверка однородности. Вектор выборочных средних $(\overline X, \overline Y)$ в группе I имеет значение $(4{,}2;\ 7{,}1)$, в группе II — $(3{,}7;\ 9{,}8)$. Средние заметно отличаются, особенно по второй координате. Стандартные отклонения в группе I равны $(2{,}7;\ 2{,}7)$, в группе II — $(0{,}8;\ 1{,}7)$. Видим, что разброс в группе II намного меньше, чем в группе I.

Ввиду пункта 3 приведённых выше выводов для исследуемых данных неуместно применять критерии, опирающиеся на предположение о нормальности распределения наблюдений (скажем, критерий Хотеллинга). Более надёжным подходом является использование многомерного обобщения рангового критерия Уилкоксона — Манна — Уитни. Вычисления дают $N = 99$, $\boldsymbol W = (1{,}305;\ 6{,}475)$, $\hat v_{11} = \hat v_{22} = 0{,}02$, $\hat v_{12} = \hat v_{21} = 0{,}0025$,

Наконец, $W^* = 21{,}28$, что превосходит 0,999-квантиль закона $\chi^2_2$, равную 13,8. Таким образом, группы I и II нельзя считать однородными на уровне значимости 0,001.

Смысл по-пацански: $W^* = 21{,}28$ при пороге 13,8 для уровня 0,001 — это не «есть подозрение», это «взяли с поличным». Такое расхождение случайно бывает реже, чем раз на тысячу.

Посчитай сам на восстановленной таблице:

Замечание 2. А по одному признаку?

Если применить одномерный критерий Уилкоксона — Манна — Уитни к каждому из признаков отдельно, то будем иметь следующие результаты: для признака $X$ нормированная статистика критерия (см. формулу (7) гл. 14) принимает значение 0,93, а для признака $Y$ — значение 4,6.

Первое из них (согласно таблице T2) незначимо на уровне 5 %. Другими словами, критерий Уилкоксона — Манна — Уитни не улавливает различия между группами I и II по первому признаку. Это можно объяснить тем, что при переходе от самих наблюдений к их рангам нивелируется очевидное визуальное отличие чёрных точек группы I с большими значениями признака $X$ от квадратов группы II.

В свою очередь, для признака $Y$ картина иная. Статистика значима даже на уровне 0,001, что подтверждает наличие систематического сдвига вверх по координате $Y$ квадратов группы II относительно чёрных точек группы I. По степени разброса группы будут сравниваться в следующей главе.

По кирпичикам: переключи виджет на «Ранги по столбцам». Чёрные точки с длительностью 7, 9, 11, 12 часов в рангах стоят просто «последними» — так же, как квадраты с 5,5 или 6,5. Ранговый критерий ловит сдвиг, а у группы I по $X$ не сдвиг, а разброс: часть точек левее квадратов, часть правее, суммы рангов почти уравновешиваются. Отличие в разбросе — задача гл. 24.

Смысл по-пацански: каждому инструменту своё. Ранги хорошо видят «кто кого выше», но не видят «кто кого шире». Для «шире» нужны критерии масштаба — это следующая глава.

Мощность: ранги против Хотеллинга

В двухвыборочной задаче симметрия не требуется: форма облака любая, лишь бы одинаковая у обеих выборок. На нормальных данных Хотеллинг чуть мощнее рангового $W^*$, но на тяжёлых хвостах (Коши) или на «веере» ранговый критерий выигрывает в разы. И обе многомерные статистики заметно мощнее наивной проверки «по каждой оси с поправкой Бонферрони», когда сдвиг идёт поперёк корреляции признаков.

Проверь себя