Глава 20. Корреляция
— Смог бы ты, не глядя на скалу, а рассматривая её отражение в воде, сказать, как можно было бы взобраться на самую вершину?
— Сократ в «Диалогах» А. Реньи
После того как (методами главы 19) объекты разбиты на однородные группы — классы, возникает задача изучения взаимосвязей признаков внутри отдельного класса. На практике чаще всего встречаются два вида зависимостей:
- а) «облако» эллиптического типа: оба признака — полноценные случайные величины, и изучению подлежит уровень зависимости (корреляции) между ними. Это — корреляционный анализ, предмет этой главы.
- б) «кривая»: объекты располагаются в окрестности некоторой линии или поверхности, то есть между признаками есть функциональная зависимость, испорченная шумом. Это — регрессионный анализ (глава 21 и §2 главы 22).
Смысл по-пацански: в главе 19 мы разбили всех на компании. Теперь лезем внутрь одной компании и смотрим, какие признаки ходят вместе. Если все тянут друг друга — значит, можно не следить за каждым по отдельности, а описать всю компанию парой «главных» параметров.
В этой главе:
- главные компоненты — поворачиваем облако так, чтобы его разброс лёг вдоль новых осей по убыванию; часто двух-трёх осей хватает, а остальные — шум;
- эллипсоид рассеяния — геометрический портрет ковариационной матрицы;
- степенной метод — как посчитать главные компоненты, не имея под рукой математической библиотеки;
- шкалирование — как по таблице одних лишь различий между объектами нарисовать их «карту»: линейный метод Торгерсона, индивидуальные различия экспертов, нелинейный метод Сэммона;
- пропуски в данных — почему заполнять дырки средним опасно;
- ранговая корреляция — коэффициенты Спирмена и Кендэла, которые не боятся выбросов и не требуют нормальности;
- частная корреляция — как отличить настоящую связь от «ложной», порождённой третьим фактором;
- таблицы сопряжённости — связь качественных признаков.
Параграфы
- §1. Геометрия главных компонент — оптимальные свойства главных осей, собаки и волки.
- §2. Эллипсоид рассеяния — портрет ковариационной матрицы и сравнение рассеяний.
- §3. Вычисление главных компонент — степенной метод и доверие к результату.
- §4. Линейное шкалирование — метод Торгерсона и аддитивная константа.
- §5. Шкалирование индивидуальных различий — модель взвешенных факторов и каноническая декомпозиция.
- §6. Нелинейные методы понижения размерности — метод Сэммона, сопряжённые градиенты, пропуски.
- §7. Ранговая корреляция — Спирмен и Кендэл.
- §8. Множественная и частная корреляции — конкордация и «очищенная» связь.
- §9. Таблицы сопряжённости — три выборочные схемы и хи-квадрат.
Практика
Что уносим из главы
Главные компоненты — это просто поворот осей, после которого разброс упорядочен по убыванию. Но они зависят от масштабов признаков, поэтому сначала нормируй. Если таблицы признаков нет, а есть только различия между объектами, всё равно можно нарисовать карту: линейно по Торгерсону или нелинейно по Сэммону. Корреляция Пирсона чувствительна к выбросам и видит только линейную связь; ранговые коэффициенты устойчивее. А любую сильную корреляцию сначала проверь на «третьего лишнего»: может, X и Y просто оба слушаются Z.
Смысл по-пацански: повернул голову — увидел главное, остальное шум. Нет координат, есть только «кто на кого похож» — всё равно рисуешь карту. Связь меряй рангами, если боишься выбросов. И прежде чем радоваться сильной корреляции, спроси: а не дёргает ли обоих за ниточки кто-то третий?