§8. Множественная и частная корреляции

Коэффициент конкордации

Может представлять интерес задача измерения статистической связи сразу между $k \ge 3$ выборками. С этой целью Кендэлом был предложен ранговый коэффициент конкордации (согласованности)

где $R_{ij}$ — ранг (от 1 до $n$) $i$-го элемента в $j$-й выборке (столбце).

По кирпичикам: $\sum_jR_{ij}$ — суммарный ранг $i$-го объекта по всем $k$ экспертам. Если эксперты согласны, суммы выстраиваются «лестницей» $k, 2k, \dots, nk$ и далеко расходятся от среднего $k(n+1)/2$. Если не согласны — суммы толпятся у среднего. $W$ меряет этот разброс сумм, а множитель $12/(k^2(n^3 - n))$ делает максимум равным 1.

Укажем некоторые свойства коэффициента $W$.

1. $0 \le W \le 1$, причём $W = 1$ тогда и только тогда, когда все $k$ ранжировок совпадают. То, что $W$ не принимает отрицательных значений, объясняется тем обстоятельством, что в отличие от случая парных связей для $k \ge 3$ выборок противоположность согласованности утрачивается: упорядочения могут полностью совпадать, но не могут полностью не совпадать.

2. Обозначим через $\bar\rho_S$ среднее арифметическое коэффициентов Спирмена по всем $k(k-1)/2$ парам выборок. Тогда

Таким образом, $W$ и $\bar\rho_S$ линейно связаны. В частности, при $k = 2$ имеем $W = (\rho_S + 1)/2$, то есть коэффициент конкордации $W$ линейно зависит от коэффициента Спирмена $\rho_S$.

3. Сравнение с критерием Фридмана из §2 главы 17 (с точностью до замены обозначений $k \rightleftarrows n$) показывает, что при больших $n$ статистика $k(n - 1)W$ распределена приближённо по закону хи-квадрат с $(n - 1)$ степенями свободы.

Смысл по-пацански: раздай двадцати судьям одних и тех же 15 боксёров — пусть расставят по силе. $W$ скажет, насколько их мнения совпали. Все поставили одинаково — $W = 1$. Каждый ставил как бог на душу положит — $W \approx 0$.

Будет ли значение $W = 0{,}09$ значимо велико на уровне 5 % при $k = 20$ и $n = 15$? Это вопрос 3.

Частная корреляция

Перейдём теперь к обсуждению понятия частной или «очищенной» корреляции. Начнём с примера.

Даже если удалось установить тесную зависимость между двумя исследуемыми величинами, отсюда ещё непосредственно не следует их причинная взаимообусловленность. Например, при анализе большого числа наблюдений, относящихся к отливке труб на сталелитейных заводах, была установлена положительная корреляционная связь между временем плавки и процентом забракованных труб. Дать какое-либо причинное истолкование этой стохастической связи было невозможно, а поэтому рекомендации ограничить продолжительность плавки для снижения процента брака выглядели малосостоятельными. Действительно, спустя несколько лет обнаружили, что большая продолжительность плавки всегда была связана с использованием сырья специального состава. Этот вид сырья приводил одновременно к длительному времени плавки и большому проценту брака, хотя оба этих фактора взаимно независимы.

Таким образом, высокий коэффициент корреляции между продолжительностью плавки и процентом забракованных труб полностью обусловливался влиянием третьего, не учтённого при исследовании фактора — характеристики качества сырья. Если же этот фактор был бы с самого начала учтён, то никакой значимой корреляционной связи между временем плавки и процентом забракованных труб мы бы не обнаружили. За счёт подобных эффектов (одновременного влияния неучтённых факторов на исследуемые переменные) может искажаться и смысл истинной связи между переменными. Так, подсчёты приводят к положительному значению парного коэффициента корреляции, в то время как истинная связь между ними имеет отрицательный смысл. Такую корреляцию между двумя переменными часто называют «ложной». Обнаружение и исключение «общих причинных факторов», расчёт «очищенных», или частных, коэффициентов корреляции исследуют методами многомерного корреляционного анализа.

Смысл по-пацански: мороженое и утопленники растут вместе — но не потому, что мороженое топит. Оба слушаются третьего — жары. Частная корреляция — это «выключить жару» и посмотреть, осталась ли связь.

Определение. Частным коэффициентом корреляции между случайными величинами $X$ и $Y$ при исключении влияния случайной величины $Z$ называется

$$\rho(X, Y|Z) \equiv \rho_{XY|Z} = \frac{\rho(X, Y) - \rho(X, Z)\rho(Y, Z)}{\sqrt{(1 - \rho^2(X, Z))(1 - \rho^2(Y, Z))}}.$$

К этой формуле приводит попытка исключить зависимость от $Z$, заменив $X$ и $Y$ такими случайными величинами $X' = X - aZ$, $Y' = Y - bZ$, которые некоррелированы с $Z$: $\rho(X', Z) = 0$ и $\rho(Y', Z) = 0$. Тогда «оставшаяся» корреляция представляет собой обычную корреляцию между $X'$ и $Y'$.

Доказательство. Допустим для простоты, что $\mathbf MX = \mathbf MY = \mathbf MZ = 0$. Для краткости введём обозначения $\sigma_\xi = \sqrt{\mathbf D\xi}$ и $\rho_{\xi\eta} = \rho(\xi, \eta)$. Константы $a$ и $b$ нужно выбрать так, чтобы имели место равенства $\mathbf MX'Z = \mathbf MXZ - a\mathbf MZ^2 = 0$, $\mathbf MY'Z = \mathbf MYZ - b\mathbf MZ^2 = 0$. Отсюда находим

Запишем обычный коэффициент корреляции между $X'$ и $Y'$:

Числитель в формуле (27) можно представить в следующем виде:

Заменив $a$ и $b$ в этом равенстве их значениями из соотношений (26), получим $\mathbf M(X - aZ)(Y - bZ) = (\rho_{XY} - \rho_{XZ}\rho_{YZ})\sigma_X\sigma_Y$. Точно так же вычисляются дисперсии:

Подстановка всех этих выражений в формулу (27) приводит к равенству

которое и требовалось установить. $\blacksquare$

По кирпичикам: $X - aZ$ — это «остаток» $X$ после того, как из него вычли всё, что объясняется $Z$ (регрессия на $Z$, глава 21). Частная корреляция — это корреляция остатков.

Для получения оценки $\hat\rho_{xy|z}$ для коэффициента $\rho_{XY|Z}$ надо заменить в соотношении (28) теоретические коэффициенты корреляции выборочными (см. определение (20)):

(Здесь неслучайный вектор $\boldsymbol x = (x_1, \dots, x_n)$ обозначает реализацию выборки $\boldsymbol X = (X_1, \dots, X_n)$, где $X_i$ независимы и распределены так же, как и случайная величина $X$.) К этой формуле можно прийти точно так же, как и выше, отталкиваясь от условия ортогональности реализации выборки $\boldsymbol z$ и линейных комбинаций $\boldsymbol x' = \boldsymbol x - a\boldsymbol z$ и $\boldsymbol y' = \boldsymbol y - b\boldsymbol z$. В этой интерпретации $\hat\rho_{xy|z}$ представляет собой косинус угла между проекциями векторов $\boldsymbol x$ и $\boldsymbol y$ на подпространство в $\mathbb R^n$, ортогональное вектору $\boldsymbol z$.

Если дополнительно предположить, что $\boldsymbol X$, $\boldsymbol Y$ и $\boldsymbol Z$ — выборки из независимых нормальных законов, то выборочный частный коэффициент корреляции $\hat\rho_{XY|Z}$ будет распределён точно так же, как и обычный выборочный коэффициент $\hat\rho_{XY}$, но для выборок размера не $n$, а $n - 1$. Отсюда и из задачи 6 главы 11 вытекает сходимость распределения случайной величины $\sqrt n\operatorname{arcth}\hat\rho_{XY|Z}$ к закону $\mathcal N(0, 1)$ при $n \to \infty$.

Пример 10. По итогам года у 37 однородных предприятий лёгкой промышленности были зарегистрированы следующие (среднемесячные) показатели их работы: $x$ — значения характеристики качества ткани (в баллах), $y$ — количество профилактических наладок автоматической линии, $z$ — случаи обрывов нити.

На основе этих данных были подсчитаны парные коэффициенты корреляции: $\hat\rho_{xy} = 0{,}105$, $\hat\rho_{xz} = 0{,}024$, $\hat\rho_{yz} = 0{,}996$. Проверка на статистическую значимость свидетельствует об отсутствии связи между качеством ткани, с одной стороны, и числом профилактических наладок и обрывов нити — с другой. Это не согласуется с профессиональными представлениями технолога.

Однако расчёт частных коэффициентов корреляции по формуле (29) даёт значения $\hat\rho_{xy|z} = 0{,}908$ и $\hat\rho_{xz|y} = -0{,}907$, которые вполне соответствуют представлению о естественном характере связей между изучаемыми показателями: чем больше наладок при том же числе обрывов, тем лучше ткань; чем больше обрывов при том же числе наладок, тем хуже.

Смысл по-пацански: парные коэффициенты кричали «связи нет». А на деле наладки и обрывы почти всегда ходят парой ($0{,}996$) и гасят друг друга. Зафиксируй одно — и второе сразу «заговорит» с качеством ткани в полный голос.

В виджете смоделирован случай с трубами: скрытый фактор $Z$ (сырьё) влияет и на время плавки $X$, и на брак $Y$, а прямого влияния нет. Обычная корреляция получается около 0,7, а частная — около нуля. Сдвинь «Прямое влияние X на Y» — частная корреляция покажет именно его.

В заключение отметим, что ранговый коэффициент Кендэла $\tau$ (в отличие от коэффициента Спирмена $\rho_S$) переносится на случай частной корреляции с помощью формулы, аналогичной формуле (29):

Критерии значимости для $\tau_{xy|z}$ можно отыскать в журнальных статьях.

Проверь себя