§1. Геометрия главных компонент

Допустим, что каждый из $n$ объектов описывается $m$ признаками (координатами). Представим данные (для отдельного класса объектов) в форме таблицы $\boldsymbol X = \|x_{il}\|_{n\times m}$. Вычислим для каждого признака (столбца матрицы $\boldsymbol X$) среднее значение $\bar x_l = \frac1n\sum_{i=1}^nx_{il}$ и центрируем данные: $x_{il}' = x_{il} - \bar x_l$. Это преобразование не искажает интересующую нас внутреннюю структуру класса, характер взаимосвязей признаков. Далее в этой главе будем считать $x_{il}$ уже центрированными:

Д1. $\bar x_l = 0$ для $l = 1, \dots, m$.

Обозначим через $\hat{\boldsymbol\Sigma} = \|\hat\sigma_{kl}\|_{m\times m}$ выборочную ковариационную матрицу (центрированных) признаков: $\hat{\boldsymbol\Sigma} = \frac1n\boldsymbol X^T\boldsymbol X$, то есть $\hat\sigma_{kl}$ — выборочная ковариация $k$-го и $l$-го столбцов матрицы $\boldsymbol X$.

Поскольку $\hat{\boldsymbol\Sigma}$ — матрица ковариаций, она неотрицательно определена (см. П10). Следовательно, существует ортогональная матрица $\boldsymbol C$, приводящая $\hat{\boldsymbol\Sigma}$ к главным осям: $\boldsymbol C^T\hat{\boldsymbol\Sigma}\boldsymbol C = \boldsymbol\Lambda$. Здесь $\boldsymbol\Lambda$ — диагональная матрица с неотрицательными элементами $\lambda_1 \ge \dots \ge \lambda_m$ на главной диагонали, которые являются корнями уравнения $\det(\hat{\boldsymbol\Sigma} - \lambda\boldsymbol E) = 0$. Они называются собственными значениями матрицы $\hat{\boldsymbol\Sigma}$.

Предположим, что все $\lambda_l$ положительны и различны (для экспериментальных данных это условие выполняется практически всегда). При этом столбцы $\boldsymbol c_1, \dots, \boldsymbol c_m$ матрицы $\boldsymbol C$ (главные оси или компоненты) определяются однозначно, с точностью до выбора направления оси, то есть одновременного изменения знака всех координат вектора $\boldsymbol c_l$. Они образуют новый ортонормированный базис в $\mathbb R^m$.

Смысл по-пацански: главные компоненты — это не новые данные, а новый поворот головы. Смотришь на облако точек под таким углом, чтобы вдоль первой оси оно было самым длинным, вдоль второй — самым длинным из оставшихся и т. д. Сами точки при этом никуда не двигаются.

Свойства главных компонент

1) Проекции объектов на первую главную компоненту $\boldsymbol c_1$ имеют наибольшую выборочную дисперсию среди проекций на всевозможные направления $\boldsymbol d$ в пространстве $\mathbb R^m$.

Доказательство. Вектор проекций $\boldsymbol y$ на направление $\boldsymbol d$ ($\boldsymbol d^T\boldsymbol d = 1$) задаётся равенством $\boldsymbol y = \boldsymbol X\boldsymbol d$. Ввиду допущения Д1

Тогда выборочная дисперсия проекций на направление $\boldsymbol d$ равна

Тем самым задача сводится к максимизации по $\boldsymbol d$ квадратичной формы $\boldsymbol d^T\hat{\boldsymbol\Sigma}\boldsymbol d$ при условии $\boldsymbol d^T\boldsymbol d = 1$. Применим метод неопределённых множителей Лагранжа. Приравнивая нулю частные производные по переменным $d_l$ функции Лагранжа

приходим к системе (линейных относительно $d_1, \dots, d_m$) уравнений

Её можно записать в матричной форме:

Поскольку $\boldsymbol d^T\boldsymbol d = 1$, нас интересуют только ненулевые решения. Для них должно выполняться условие $\det(\hat{\boldsymbol\Sigma} - \lambda\boldsymbol E) = 0$, то есть искомое направление $\boldsymbol d$ обязано быть собственным вектором $\hat{\boldsymbol\Sigma}$, отвечающим собственному значению $\lambda$. Умножая соотношение (2) на $\boldsymbol d^T$ слева, получим $\boldsymbol d^T\hat{\boldsymbol\Sigma}\boldsymbol d = \lambda\boldsymbol d^T\boldsymbol d = \lambda$. Левая часть есть $S^2(\boldsymbol d)$ (см. формулу (1)). Следовательно, $\lambda$ должна равняться наибольшему собственному значению $\lambda_1$ матрицы $\hat{\boldsymbol\Sigma}$, а $\boldsymbol d = \boldsymbol c_1$. $\blacksquare$

По кирпичикам: на каждом собственном векторе дисперсия проекций равна своему собственному значению. Значит, из всех «подозреваемых» побеждает тот, у кого $\lambda$ больше всех, — то есть $\boldsymbol c_1$.

2) Второй собственный вектор $\boldsymbol c_2$ характеризуется тем, что выборочная дисперсия проекций объектов на ось $\boldsymbol c_2$ максимальна среди всех направлений $\boldsymbol d$, ортогональных вектору $\boldsymbol c_1$, то есть таких, что $\boldsymbol d^T\boldsymbol c_1 = 0$.

Доказательство. Функция Лагранжа в этом случае выглядит так: $F(\boldsymbol d, \lambda, \mu) = \boldsymbol d^T\hat{\boldsymbol\Sigma}\boldsymbol d - \lambda(\boldsymbol d^T\boldsymbol d - 1) - \mu(\boldsymbol d^T\boldsymbol c_1 - 0)$. Вычисляя её частные производные по $d_l$, приходим к системе

Транспонируем равенство (3), умножим на $\boldsymbol c_1$ справа и воспользуемся тем, что $\boldsymbol c_1$ — собственный вектор с собственным значением $\lambda_1$ (то есть $\hat{\boldsymbol\Sigma}\boldsymbol c_1 = \lambda_1\boldsymbol c_1$), а также условием $\boldsymbol d^T\boldsymbol c_1 = 0$:

Отсюда $\mu = 0$. С учётом этого из (3) вытекает, что $\boldsymbol d$ — собственный вектор матрицы $\hat{\boldsymbol\Sigma}$ с собственным значением $\lambda$. Умножая равенство (3) слева на $\boldsymbol d^T$, выводим, что $\lambda = \lambda_2$ и $\boldsymbol d = \boldsymbol c_2$. $\blacksquare$

3) При $l \ge 3$ аналогично устанавливается, что $\boldsymbol c_l$ — направление с наибольшей выборочной дисперсией проекций объектов среди направлений, ортогональных векторам $\boldsymbol c_1, \dots, \boldsymbol c_{l-1}$.

4) Сумма выборочных дисперсий исходных признаков (столбцов матрицы $\boldsymbol X$) $\hat\sigma_{11} + \dots + \hat\sigma_{mm} = \operatorname{tr}\hat{\boldsymbol\Sigma}$ в силу подобия матриц $\hat{\boldsymbol\Sigma}$ и $\boldsymbol\Lambda$ (см. П10) равна $\operatorname{tr}\boldsymbol\Lambda = \lambda_1 + \dots + \lambda_m = S^2(\boldsymbol c_1) + \dots + S^2(\boldsymbol c_m)$. То есть общий разброс сохраняется при повороте — он лишь перераспределяется по новым осям. Эта величина может рассматриваться как мера общего разброса объектов относительно их центра масс. Представляет интерес относительная доля разброса, приходящаяся на $k$ первых главных осей:

Если эта величина при некотором $k$ достаточно близка к 1, то возможно уменьшение размерности пространства признаков за счёт перехода от $m$ исходных признаков к $k$ новым признакам — первым главным компонентам. На практике нередко удаётся ограничиться двумя или тремя компонентами без существенной потери информации. Объекты описываются координатами в новых осях, которым специалисты-прикладники, как правило, могут придать содержательную интерпретацию.

Математика приводит нас к дверям истины, но самих дверей не открывает.

— В. Ф. Одоевский

Смысл по-пацански: шесть признаков описывают череп, но на деле они «шепчутся» между собой: длинный череп — длинная челюсть. Главные компоненты собирают этот шёпот в одну громкую ось «общий размер», а то, что осталось, раскладывают по убыванию.

Пример 1. Собаки и волки

Найдём и интерпретируем главные компоненты для данных примера 4 главы 19. Напомним, что исходными признаками там были следующие:

1. длина черепа;
2. длина верхней челюсти;
3. ширина верхней челюсти;
4. длина верхнего карнивора;
5. длина первого верхнего моляра;
6. ширина первого верхнего моляра.

Очевидно, что при нормировке данных с помощью средних арифметических и стандартных отклонений признаков (N2 из §1 главы 19) выборочная ковариационная матрица $\hat{\boldsymbol\Sigma}$ совпадает с выборочной корреляционной матрицей исходных признаков (рис. 3 у Лагутина; таблицу можно увидеть в §4 и в виджете ниже).

Обратим внимание, что длина черепа (признак 1) и длина верхней челюсти (признак 2) сильно коррелируют ($\hat\rho_{12} = 0{,}96$), поэтому целесообразно оставить в модели только один из них. Признаки 4, 5 и 6, относящиеся к зубам, также очень тесно связаны между собой, поскольку $\hat\rho_{45} = 0{,}89$, $\hat\rho_{46} = 0{,}76$ и $\hat\rho_{56} = 0{,}79$.

Собственные значения $\lambda_k$, соответствующие им доли следа $\lambda_k/\sum\lambda_l$ (в %) и накопленные доли $\gamma_k$ (в %):

Мы пересчитали всё по таблице рис. 16 главы 19 (все 43 животных, включая неизвестное) — собственные значения и собственные векторы рис. 4 воспроизводятся до последнего знака.

На первые 3 компоненты приходится 93,7 % полной дисперсии «облака».

• Первая компонента имеет смысл общего размера. Это следует из того, что все координаты у $\boldsymbol c_1$ одного знака и примерно одинаковы по величине (0,42–0,46): при проецировании на эту ось координаты нормированных признаков просто складываются.
• Вторая компонента, по существу, отвечает за ширину верхней челюсти (признак 3), поскольку третья координата у $\boldsymbol c_2$ по абсолютной величине равна $0{,}89 \approx 1$. Эта ось отражает различие в пропорциях челюстей и отличает удлинённые формы от укороченных (гончих и колли от бульдогов и боксёров). На вторую ось волки проецируются в основном рядом с немецкими овчарками.
• Третья ось противопоставляет размеры челюстей размерам зубов: первые три координаты у $\boldsymbol c_3$ примерно равны по абсолютной величине последним трём координатам, но противоположны по знаку. Другими словами, третья ось отражает относительную (по сравнению с размерами черепа) величину зубов. Она позволяет отличить животных с развитыми зубами (волки, немецкие овчарки, доберманы) от собак других пород (сенбернары, мастифы, сеттеры).

Поставь оси $\boldsymbol c_1$ и $\boldsymbol c_3$: волки уходят в сторону «больших относительно черепа зубов». А по $\boldsymbol c_1$ и $\boldsymbol c_2$ они сидят среди крупных собак — по общему размеру волка от овчарки не отличишь.

Смысл по-пацански: первая компонента говорит «большой или маленький», вторая — «морда длинная или короткая», третья — «зубы большие для такой башки или нет». Именно третья и выдаёт волка.

5) Наименьшее искажение геометрической структуры. Пусть $M_k$ — это подпространство, натянутое на главные оси $\boldsymbol c_1, \dots, \boldsymbol c_k$. Оказывается, при проецировании объектов на произвольное подпространство $L_k$ размерности $k$ в $\mathbb R^m$ геометрическая структура искажается в наименьшей степени, если этим подпространством является $M_k$:

• а) сумма квадратов расстояний от объектов до их проекций на $L_k$ минимальна, когда $L_k = M_k$; в этом случае она равна $n(\lambda_{k+1} + \dots + \lambda_m)$;
• б) при проецировании на $M_k$ наименее искажается сумма квадратов расстояний между всевозможными парами объектов; для $M_k$ её изменение составляет $n^2(\lambda_{k+1} + \dots + \lambda_m)$;
• в) когда $L_k = M_k$, в наименьшей степени искажаются расстояния от объектов до их центра масс (совпадающего с началом координат $\boldsymbol 0$ ввиду допущения Д1), а также углы между всевозможными парами прямых, соединяющих объекты с $\boldsymbol 0$.

Поясним последнее свойство. Рассмотрим матрицу скалярных произведений $\boldsymbol G = \|g_{ij}\|_{n\times n} = \boldsymbol X\boldsymbol X^T$. Нетрудно понять геометрический смысл элементов этой матрицы:

• $g_{ii} = \sum_{l=1}^mx_{il}^2$ представляет собой квадрат расстояния от $i$-го объекта до $\boldsymbol 0$;
• а при $i \ne j$ величина $g_{ij} = \sum_{l=1}^mx_{il}x_{jl}$ пропорциональна косинусу угла между прямыми, соединяющими $i$-й и $j$-й объекты с началом координат.

Обозначим через $\boldsymbol Y = \|y_{il}\|_{n\times m}$ матрицу координат проекций объектов на подпространство $L_k$. Ей соответствует $\boldsymbol H = \|h_{ij}\|_{n\times n} = \boldsymbol Y\boldsymbol Y^T$. Тогда при $L_k = M_k$ достигается

где $|\boldsymbol A|^2 = \sum a_{ij}^2$ — квадрат евклидовой нормы матрицы $\boldsymbol A$.

Замечание 1. Проецирование на плоскость двух первых компонент часто применяется ещё на этапе классификации (выделения однородных групп). Расчёт тут такой: наибольший разброс данные будут иметь в направлениях, «соединяющих» центры групп, а значит, проекции на старшие главные компоненты обеспечат наилучшую «точку зрения» на данные, когда группы видны на наибольших расстояниях и не закрывают одна другую.

Замечание 2. Следует иметь в виду, что главные компоненты вычисляются по выборочной ковариационной матрице $\hat{\boldsymbol\Sigma}$ и поэтому зависят от масштаба признаков. Скажем, если один из признаков принимает значения от 0 до 100, а другие — от 0 до 10, то независимо от структуры данных первый признак будет отождествляться с первой главной компонентой. Чтобы избежать этого, обычно перед вычислением главных компонент данные нормируют (см. §1 главы 19).

В виджете выше нажми «Без нормировки»: длина черепа в миллиметрах — числа порядка 200, ширина моляра — порядка 15, и первая «главная» компонента забирает 91 % разброса. При этом она почти целиком состоит из длины черепа и длины челюсти (координаты 0,88 и 0,47), а зубы в ней едва заметны.

Смысл по-пацански: главные компоненты слушают того, кто громче орёт. Без нормировки громче всех тот признак, который измерен в самых мелких единицах. Сначала всех «уравняй в правах» — потом крути оси.

Проверь себя