§7. Ранговая корреляция

Нередко на практике представляет интерес гипотеза независимости признаков $\xi$ и $\eta$:

где $F_{\xi,\eta}(x, y) = \mathbf P(\xi \le x, \eta \le y)$ — это функция распределения случайного вектора $(\xi, \eta)$ (см. П8), а $F_\xi(x)$ и $F_\eta(y)$ — функции распределения его компонент.

Для её проверки применяют ранговые критерии. Они не зависят от конкретного вида функций $F_\xi$ и $F_\eta$ при условии их непрерывности. Кроме того, эти критерии робастны (устойчивы, см. §4 главы 8) к выделяющимся наблюдениям («выбросам»), которые обычно присутствуют в крупных массивах реальных данных.

Смысл по-пацански: обычный коэффициент корреляции Пирсона видит только прямую линию и пугается каждого выброса. Ранги видят только порядок: кто выше, кто ниже. Ни кривизна, ни единичный «бешеный» не собьют их с толку.

Критерий Спирмена

Обозначим через $R_i$ ранг (то есть номер в порядке возрастания) наблюдения $\xi_i$ среди $\xi_1, \dots, \xi_n$, а через $S_i$ — ранг $\eta_i$ среди $\eta_1, \dots, \eta_n$. Таким образом, наблюдения порождают $n$ пар рангов $(R_1, S_1), \dots, (R_n, S_n)$. Статистикой критерия Спирмена служит выборочный коэффициент корреляции $\rho_S$ ранговых наборов $(R_1, \dots, R_n)$ и $(S_1, \dots, S_n)$:

В этой формуле $\bar R = \bar S = \frac1n\sum_{i=1}^ni = \frac{n+1}2$. С учётом легко доказываемого по индукции равенства $\sum_{i=1}^ni^2 = \frac{n(n+1)(2n+1)}6$ имеем

По кирпичикам: $\sum(i - \bar i)^2 = \sum i^2 - n\bar i^2 = \frac{n(n+1)(2n+1)}6 - \frac{n(n+1)^2}4 = \frac{n(n+1)}{12}\bigl[2(2n+1) - 3(n+1)\bigr] = \frac{n(n+1)(n-1)}{12}$.

Переставив пары $(R_i, S_i)$ в порядке возрастания первой компоненты, получим набор $(1, T_1), \dots, (n, T_n)$. Тогда статистика (20) запишется в виде

Таким образом, $\rho_S$ — линейная функция от рангов $T_i$. Правую часть равенства (21) можно также представить (задача 3) в виде

который наиболее удобен для вычислений.

Смысл по-пацански: выстрой пацанов по росту и по весу. Если порядки совпали — $\rho_S = 1$. Если один порядок обратен другому — $\rho_S = -1$. Формула (22) просто считает, насколько далеко каждый «съехал» со своего места.

Совпадения

Пример 9 показывает, что формула (22) пригодна для подсчёта $\rho_S$ только в случае отсутствия совпадений (то есть когда среди значений наблюдений $\xi_1, \dots, \xi_n$ ($\eta_1, \dots, \eta_n$) нет одинаковых). Если совпадения есть, то при ранжировании им следует присваивать средние ранги (так, для выборки 2, 5, 5, 7 получаем ранжировку 1; 2,5; 2,5; 4) и затем вычислять $\rho_S$ на основе формулы (20).

Пример 9. Десять однородных предприятий были проранжированы вначале по степени прогрессивности их оргструктур (признак $\xi$), затем по эффективности их функционирования в отчётном году (признак $\eta$). В результате были получены следующие две ранжировки:

• $\xi$: 1; 2,5; 2,5; 4,5; 4,5; 6,5; 6,5; 8; 9,5; 9,5;
• $\eta$: 1; 2; 4,5; 4,5; 4,5; 4,5; 8; 8; 8; 10.

Для этих данных правая часть равенства (22) равна 0,921, а коэффициент $\rho_S$, вычисленный по формуле (20), имеет значение 0,917. С помощью таблицы T7 устанавливаем, что при $n = 10$ критической границей для $\rho_S$ на уровне значимости 0,001 служит величина 0,879. Поскольку $0{,}917 > 0{,}879$, корреляционную связь между признаками $\xi$ и $\eta$ следует признать значимой.

Свойства ρ_S при независимости

Исследуем некоторые свойства статистики $\rho_S$ при справедливости гипотезы $H_0$. Множество рангов $(T_1, \dots, T_n)$ — это некоторая перестановка множества $(1, \dots, n)$. При выполнении гипотезы $H_0$ все $n!$ таких перестановок равновероятны. Поэтому для любого $1 \le i \le n$

Из формулы (21) немедленно получаем, что $\mathbf M\rho_S = 0$ при выполнении гипотезы $H_0$. Нетрудно установить, что $\mathbf D\rho_S = 1/(n - 1)$ (задача 4). Так как $\rho_S$ — коэффициент корреляции, то согласно следствию из неравенства Коши — Буняковского (П4) всегда $-1 \le \rho_S \le 1$. Крайние значения достигаются:

• при полном соответствии наборов рангов ($R_i = S_i$, $i = 1, \dots, n$) имеем $\rho_S = 1$;
• а при противоположных рангах ($T_i = n - i + 1$) получаем $\rho_S = -1$. Почему верно последнее утверждение — вопрос 2.

Достаточно близкие к 1 (или −1) значения $\rho_S$ противоречат гипотезе $H_0$. Критические границы при односторонней альтернативе $H_1\colon \rho(\xi, \eta) > 0$ на нескольких уровнях значимости для $n \le 50$ можно найти в табл. T7.

Для $n > 50$ годится нормальное приближение, основанное на сходимости

в случае справедливости гипотезы $H_0$.

Поправка. Для небольших выборок это приближение не является удовлетворительным. Р. Иман и У. Коновер в 1978 г. предложили следующую поправку, значительно повышающую точность аппроксимации. Положим

С помощью таблиц T2 и T4 вычислим $z_\alpha = (x_{1-\alpha} + y_{1-\alpha})/2$, где $x_{1-\alpha}$ и $y_{1-\alpha}$ обозначают, соответственно, квантили уровня $(1 - \alpha)$ закона $\mathcal N(0, 1)$ и распределения Стьюдента с $(n - 2)$ степенями свободы (см. §2 главы 11). Если $\tilde\rho_S \ge z_\alpha$, то гипотеза $H_0$ отвергается в пользу альтернативы $H_1\colon \rho(\xi, \eta) > 0$, иначе — принимается.

По кирпичикам: $\tilde\rho_S$ — среднее двух статистик. Первая, $\rho_S\sqrt{n-1}$, приближённо нормальна. Вторая, $\rho_S\sqrt{(n-2)/(1 - \rho_S^2)}$, — как $t$-статистика Стьюдента для обычного коэффициента корреляции. Порог — среднее их квантилей.

В примере 9: $\tilde\rho_S = 4{,}63$, а $z_{0{,}001} = (3{,}09 + 4{,}50)/2 = 3{,}80$, так что поправка Имана — Коновера тоже уверенно отвергает $H_0$. А грубое нормальное приближение $1 - \Phi(0{,}917\cdot\sqrt9) \approx 0{,}003$ не дотягивает до уровня 0,001 — это как раз то, о чём предупреждает книга.

Критерий Кендэла

Другую ранговую меру связи ввёл в 1938 г. М. Дж. Кендэл. Будем говорить, что пары $(\xi_i, \eta_i)$ и $(\xi_j, \eta_j)$ ($1 \le i < j \le n$) согласованы, если $\xi_i < \xi_j$ и $\eta_i < \eta_j$ или $\xi_i > \xi_j$ и $\eta_i > \eta_j$ (то есть $\operatorname{sign}(\xi_j - \xi_i)\operatorname{sign}(\eta_j - \eta_i) = 1$). Пусть $S$ — число согласованных пар, а $R$ — число несогласованных пар. Тогда превышение согласованности над несогласованностью есть (предполагается, что среди $\xi_i$ и среди $\eta_i$ нет совпадений)

Значения $T$ изменяются от $-n(n-1)/2$ до $n(n-1)/2$. Например, $\max T = n(n-1)/2$ достигается при идеальном согласии порядка $\xi_1, \dots, \xi_n$ и $\eta_1, \dots, \eta_n$. Для измерения степени согласия Кендэл предложил коэффициент

так как $S + R = n(n-1)/2$. Заметим, что величина $R$ — это количество инверсий (см. пример 2 главы 7), образованных величинами $\eta_i$, расположенными в порядке возрастания соответствующих $\xi_i$. Таким образом, коэффициент $\tau$ (линейно связанный с $R$) можно считать мерой неупорядоченности второй последовательности относительно первой.

Ввиду формулы (23) и асимптотической нормальности статистики $R$ при справедливости гипотезы $H_0$ имеет место сходимость $\tau/\sqrt{\mathbf D\tau} \xrightarrow{d} Z \sim \mathcal N(0, 1)$ при $n \to \infty$, где $\mathbf D\tau = 2(2n + 5)/[9n(n - 1)]$.

Смысл по-пацански: Кендэл перебирает все пары и спрашивает: «кто выше по росту — тот и тяжелее?» Да — плюс один, нет — минус один. По сути он считает, сколько раз пришлось бы поменять соседей местами, чтобы второй строй совпал с первым.

Связь между τ и ρ_S

Очевидно, статистика $T$ представляется также в ранговой форме:

Аналогично, $R = \sum_{i<j}I_{\{T_i > T_j\}}$. С учётом соотношения (23) получаем, что

Согласно задаче 5 для коэффициента $\rho_S$ верна похожая формула:

показывающая, что в случае $\rho_S$ инверсиям придаются дополнительные веса $(j - i)$. Из-за этого возникает предположение, что $\rho_S$ сильнее реагирует на несогласие ранжировок, чем $\tau$. Однако М. Кендэл и А. Стьюарт отмечают, что величины $\rho_S$ и $\tau$ при справедливости гипотезы $H_0$ сильно коррелированы: коэффициент корреляции между ними равен $2(n + 1)/\sqrt{2n(2n + 5)}$. Он убывает от 1 при $n = 2$ до 0,98 при $n = 5$ и далее возрастает до 1 при $n \to \infty$.

Наше моделирование подтверждает формулу: при $n = 10$ по 4000 случайным перестановкам корреляция между $\rho_S$ и $\tau$ равна 0,984 — как и по формуле.

Обобщённый коэффициент корреляции

Замечание 10. Для удобства реализации на компьютере системы алгоритмов корреляционного анализа полезно вывести обобщённую формулу для вычисления разных парных корреляционных характеристик (таких как $\tau$, $\rho_S$ и $\hat\rho$), где

$$\hat\rho = \sum_{i=1}^n(X_i - \bar X)(Y_i - \bar Y)\Bigg/\Bigl[\sum_{i=1}^n(X_i - \bar X)^2\cdot\sum_{i=1}^n(Y_i - \bar Y)^2\Bigr]^{1/2}$$

обозначает обычный коэффициент корреляции между выборками $\boldsymbol X = (X_1, \dots, X_n)$ и $\boldsymbol Y = (Y_1, \dots, Y_n)$. С этой целью определим некоторое правило, в соответствии с которым каждой паре $(X_i, X_j)$ компонент вектора $\boldsymbol X$ приписывается число («метка») $c_{ij} = c_{ij}(\boldsymbol X)$, причём это правило будет обладать свойством отрицательной симметричности: $c_{ij} = -c_{ji}$, $c_{ii} = 0$. Тогда обобщённый коэффициент корреляции между $\boldsymbol X$ и $\boldsymbol Y$ определяется формулой

$$\hat r = \sum_{i<j}c_{ij}(\boldsymbol X)c_{ij}(\boldsymbol Y)\Bigg/\Bigl[\sum_{i<j}c_{ij}^2(\boldsymbol X)\cdot\sum_{i<j}c_{ij}^2(\boldsymbol Y)\Bigr]^{1/2}.$$

Убедимся, что коэффициенты $\hat\rho$, $\rho_S$ и $\tau$ могут быть получены как частные случаи обобщённого коэффициента $\hat r$ при соответствующем выборе правила приписывания числовых «меток» $c_{ij}$.

1. Установим для любых $X_1, \dots, X_n$ и $Y_1, \dots, Y_n$ справедливость тождества

При $X_i = Y_i$ оно следует из теоремы о межточечных расстояниях, доказанной при решении задачи 5 главы 16 ($m_i = 1$, $m = n$). В общем случае оно выводится из указанной теоремы с помощью представления $AB = [(A + B)/2]^2 - [(A - B)/2]^2$ (см. задачу 6). Ввиду установленного тождества при выборе в качестве «меток» $c_{ij}(\boldsymbol X) = X_j - X_i$ коэффициент $\hat r$ преобразуется в $\hat\rho$. 2. Положим $c_{ij}(\boldsymbol X) = R_j - R_i$, где $R_i$ — ранг $X_i$ в выборке $\boldsymbol X$. С учётом предыдущих рассуждений и определения коэффициента Спирмена (20) видим, что $\hat r$ в этом случае совпадает с $\rho_S$. 3. Пусть $c_{ij}(\boldsymbol X) = \operatorname{sign}(X_j - X_i) = \operatorname{sign}(R_j - R_i)$. Тогда делимым в формуле для $\hat r$ служит определённая выше статистика $T$, а делитель равен $n(n-1)/2$. Принимая во внимание формулу (23), заключаем, что обобщённый коэффициент $\hat r$ превращается в $\tau$.

Смысл по-пацански: все три коэффициента — один и тот же «прибор» с разными насадками. Насадка «разность значений» — Пирсон, «разность рангов» — Спирмен, «знак разности» — Кендэл.

Переключи «С выбросами (5 %)» при $r = 0{,}8$. Пять процентов далёких выбросов «против связи» переворачивают знак у Пирсона: он становится около $-0{,}5$. Спирмен и Кендэл тоже проседают, но остаются положительными, около 0,4–0,5. На «монотонной, но не линейной» паре Пирсон тоже недооценивает связь: он ищет прямую, а там экспонента.

Проверь себя