П10. Элементы матричного исчисления

Это самый «цитируемый» раздел приложения: в главах 15–23 на него ссылаются чаще, чем на любой другой. Многомерная статистика — это линейная алгебра, в которой матрицы набиты ковариациями.

Матрицы и операции

Определение. Прямоугольная таблица действительных чисел $a_{ij}$ ($i = 1, \dots, m$; $j = 1, \dots, n$), имеющая $m$ строк и $n$ столбцов, называется $(m \times n)$-матрицей (обозначается $\boldsymbol A = \|a_{ij}\|_{m\times n}$).

Определение. Матрица, чьи столбцы являются строками матрицы $\boldsymbol A$ (при сохранении их порядка), называется транспонированной по отношению к матрице $\boldsymbol A$ и обозначается $\boldsymbol A^T$.

Во всех формулах, где участвуют матрицы, под вектором $\boldsymbol x = (x_1, \dots, x_m)^T$ мы понимаем вектор-столбец, т. е. $(m \times 1)$-матрицу с элементами $x_i$. Матрицу можно умножать на действительное число $b$ путём умножения на $b$ каждого её элемента. Матрицы одинаковой размерности можно складывать поэлементно. Матрица, все элементы которой равны нулю, называется нулевой и обозначается $\boldsymbol 0$.

Определение. Векторы $\boldsymbol x_1, \dots, \boldsymbol x_k$ называются линейно зависимыми, если найдутся числа $c_1, \dots, c_k$, не все равные 0, что $c_1\boldsymbol x_1 + \dots + c_k\boldsymbol x_k = \boldsymbol 0$.

Ранг матрицы $\boldsymbol A$ определяется как максимально возможное число линейно независимых строк (или, эквивалентно, столбцов) $\boldsymbol A$.

Определение. Произведением $\boldsymbol C = \boldsymbol A\boldsymbol B$ $(m \times l)$-матрицы $\boldsymbol A$ на $(l \times n)$-матрицу $\boldsymbol B$ называется $(m \times n)$-матрица $\boldsymbol C$ с элементами $c_{ij} = \sum_{k=1}^la_{ik}b_{kj}$.

Свойства умножения: $(\boldsymbol A\boldsymbol B)^T = \boldsymbol B^T\boldsymbol A^T$; $(\boldsymbol A\boldsymbol B)\boldsymbol C = \boldsymbol A(\boldsymbol B\boldsymbol C)$ (ассоциативность); $(\boldsymbol A + \boldsymbol B)\boldsymbol C = \boldsymbol A\boldsymbol C + \boldsymbol B\boldsymbol C$ (дистрибутивность). Однако в общем случае умножение некоммутативно: $\boldsymbol A\boldsymbol B \ne \boldsymbol B\boldsymbol A$.

Смысл по-пацански: матрица — это «машинка», которая берёт вектор и выдаёт другой: поворачивает, растягивает, перекашивает. Произведение $\boldsymbol A\boldsymbol B$ — две машинки подряд (сначала $\boldsymbol B$, потом $\boldsymbol A$). И порядок важен: сначала надеть носки, потом ботинки — не то же самое, что наоборот.

Квадратные матрицы

Определение. Верхнетреугольной (нижнетреугольной) называют квадратную матрицу, у которой все элементы $a_{ij}$ под (над) главной диагональю $a_{11}, \dots, a_{nn}$ равны нулю.

Определение. Квадратная матрица, на главной диагонали которой стоят единицы, а остальные элементы — нули, называется единичной и обозначается $\boldsymbol E$.

Определение. $(n \times n)$-матрица $\boldsymbol A$ невырождена, если её ранг равен $n$. В этом случае найдётся $(n \times n)$-матрица $\boldsymbol D$ такая, что $\boldsymbol D\boldsymbol A = \boldsymbol E$. Она называется обратной к $\boldsymbol A$ и обозначается $\boldsymbol A^{-1}$. Когда обратные матрицы существуют, $(\boldsymbol A^T)^{-1} = (\boldsymbol A^{-1})^T$ и $(\boldsymbol A\boldsymbol B)^{-1} = \boldsymbol B^{-1}\boldsymbol A^{-1}$.

Определение. Следом называется сумма элементов $\boldsymbol A$ на главной диагонали: $\operatorname{tr}\boldsymbol A = a_{11} + \dots + a_{nn}$. (Сокращения tr и det — от английских trace, след, и determinant, определитель.)

Определение. Пусть $p = (i_1, i_2, \dots, i_n)$ — перестановка длины $n$. Определитель матрицы $\boldsymbol A$ задаётся формулой

Здесь $p$ пробегает все $n!$ перестановок. В частности, $\det\boldsymbol A = a_{11}a_{22} - a_{12}a_{21}$ при $n = 2$,

при $n = 3$ и $\det\boldsymbol A = a_{11}a_{22}\dots a_{nn}$ для (верхне- или нижне-) треугольной матрицы. Условие $\det\boldsymbol A \ne 0$ равносильно невырожденности матрицы $\boldsymbol A$.

Иногда удаётся вычислить определитель с помощью разложения по $i$-й строке: $\det\boldsymbol A = \sum_{j=1}^n(-1)^{i+j}a_{ij}M_{ij}$, где $M_{ij}$ — определитель матрицы, получаемой из $\boldsymbol A$ вычёркиванием $i$-й строки и $j$-го столбца. Аналогично можно разложить определитель и по $j$-му столбцу.

По кирпичикам: $Z(p) = \pm1$ — «чётность» перестановки (сколько пар стоит в «неправильном» порядке). Геометрически $|\det\boldsymbol A|$ — во сколько раз машинка $\boldsymbol A$ меняет объём (вот почему якобиан в П8 — определитель). $\det\boldsymbol A = 0$ — машинка сплющивает пространство в плоскость меньшей размерности, и обратно его не развернуть.

Свойства следа и определителя

1. $\det\boldsymbol A^T = \det\boldsymbol A$.
2. $\operatorname{tr}(\boldsymbol A\boldsymbol B) = \operatorname{tr}(\boldsymbol B\boldsymbol A)$ и $\det(\boldsymbol A\boldsymbol B) = \det\boldsymbol A\cdot\det\boldsymbol B$.

Следствие 1. Если $\boldsymbol A$ невырождена, то $\det\boldsymbol A^{-1} = 1/\det\boldsymbol A$.

Следствие 2. Пусть $\boldsymbol D$ невырождена и $\boldsymbol B = \boldsymbol D^{-1}\boldsymbol A\boldsymbol D$ (такую $\boldsymbol B$ называют подобной $\boldsymbol A$). Тогда $\operatorname{tr}\boldsymbol B = \operatorname{tr}\boldsymbol A$ и $\det\boldsymbol B = \det\boldsymbol A$.

Симметричные матрицы и главные оси

Определение. Квадратная матрица $\boldsymbol A$ называется симметричной, если $\boldsymbol A^T = \boldsymbol A$.

Определение. Матрица $\boldsymbol C$ ортогональна, когда $\boldsymbol C^T\boldsymbol C = \boldsymbol E \iff \boldsymbol C^{-1} = \boldsymbol C^T$. (Из свойств определителя следует, что $|\det\boldsymbol C| = 1$.)

Теорема о приведении к главным осям. Для любой симметричной $(n \times n)$-матрицы $\boldsymbol A$ существует ортогональная матрица $\boldsymbol C$ такая, что $\boldsymbol C^T\boldsymbol A\boldsymbol C = \boldsymbol\Lambda$, где $\boldsymbol\Lambda$ — диагональная матрица с элементами $\lambda_1, \dots, \lambda_n$, причём действительные числа $|\lambda_1| \ge |\lambda_2| \ge \dots \ge |\lambda_n|$ являются корнями характеристического многочлена $n$-й степени от $\lambda$: $\det(\boldsymbol A - \lambda\boldsymbol E) = 0$.

Эти корни называют собственными значениями матрицы $\boldsymbol A$, а задачу их нахождения — проблемой собственных значений. Каждому $\lambda_i$ соответствует собственный вектор $\boldsymbol e_i$ (иначе называемый главной осью), для которого $\boldsymbol A\boldsymbol e_i = \lambda_i\boldsymbol e_i$ и $\boldsymbol e_i^T\boldsymbol e_i = 1$. Если $\lambda_i \ne \lambda_j$, то $\boldsymbol e_i$ и $\boldsymbol e_j$ ортогональны: $\boldsymbol e_i^T\boldsymbol e_j = 0$. Когда все $\lambda_i$ различны, собственные оси определяются однозначно с точностью до выбора направления. В этом случае в качестве $\boldsymbol e_i$ можно взять столбцы матрицы $\boldsymbol C$.

Для симметричной матрицы $\boldsymbol A$ имеют место равенства $\operatorname{tr}\boldsymbol A = \sum_{i=1}^n\lambda_i$ и $\det\boldsymbol A = \prod_{i=1}^n\lambda_i$.

Смысл по-пацански: у любой симметричной машинки есть «свои» направления, вдоль которых она ничего не крутит, а только растягивает. Повернул систему координат вдоль этих направлений — и матрица стала диагональной: каждая ось живёт своей жизнью. На этом стоит метод главных компонент (гл. 20).

Неотрицательная определённость

Определение. Симметричная матрица $\boldsymbol A$ называется неотрицательно определённой, если $\boldsymbol x^T\boldsymbol A\boldsymbol x \ge 0$ для любого вектора $\boldsymbol x \in \mathbb R^n$.

Замечание. Ковариационная матрица $\boldsymbol\Sigma$ произвольного случайного вектора $\boldsymbol\xi = (\xi_1, \dots, \xi_n)$ обладает этим свойством. Действительно,

Неотрицательная определённость $\boldsymbol A$ равносильна условию, что все собственные значения $\lambda_i \ge 0$. Число положительных $\lambda_i$ совпадает с рангом $\boldsymbol A$. Если ранг равен $n$, то матрица называется положительно определённой.

Критерий через миноры. Обозначим угловые (ведущие) главные миноры $D_1 = a_{11}$, $D_2 = \det\begin{pmatrix}a_{11} & a_{12}\\ a_{21} & a_{22}\end{pmatrix}$, …, $D_n = \det\boldsymbol A$. Положительная определённость $\boldsymbol A$ равносильна тому, что все $D_k > 0$ (критерий Сильвестра).

У Лагутина сказано, что неотрицательная определённость равносильна неотрицательности тех же угловых миноров $D_1, \dots, D_n$. Это неточность: для неотрицательной определённости нужно, чтобы были неотрицательны все главные миноры (определители подматриц, вырезанных по одному и тому же набору строк и столбцов), а не только угловые. Контрпример: $\boldsymbol A = \begin{pmatrix}0 & 0\\ 0 & -1\end{pmatrix}$ имеет $D_1 = 0$, $D_2 = 0$, но $\boldsymbol x^T\boldsymbol A\boldsymbol x = -x_2^2 < 0$ при $x_2 \ne 0$. Здесь не выполнено условие на главный минор $a_{22} = -1$.

Смысл по-пацански: положительная определённость — это «чаша»: куда ни шагни от нуля, квадратичная форма растёт. Ковариационная матрица всегда хотя бы «плоская чаша», потому что дисперсия любой комбинации не отрицательна. А с минорами осторожно: угловые проверяют только «по углу» — для строгой чаши этого хватает, для нестрогой нет.

Метод Холецкого и квадратный корень

Теорема Холецкого (метод квадратных корней). Для положительно определённой матрицы $\boldsymbol A$ возможно представление $\boldsymbol A = \boldsymbol U^T\boldsymbol U$, где $\boldsymbol U$ — верхнетреугольная матрица, элементы которой последовательно вычисляются по формулам

Для вычисления $u_{ii}$ приходится извлекать квадратные корни. Это объясняет название метода. (А.-Л. Холецкий (1875–1918) — французский геодезист.)

Метод интересен тем, что позволяет решать систему линейных уравнений $\boldsymbol A\boldsymbol x = \boldsymbol b$ с положительно определённой матрицей $\boldsymbol A$ примерно вдвое быстрее метода Гаусса (после представления $\boldsymbol A$ в виде $\boldsymbol U^T\boldsymbol U$ требуется всего лишь провести дважды «обратную прогонку»: $\boldsymbol U^T\boldsymbol y = \boldsymbol b$ и $\boldsymbol U\boldsymbol x = \boldsymbol y$). При этом метод Холецкого численно устойчив.

Отметим, что в классе невырожденных квадратных матриц $\boldsymbol X$ уравнение $\boldsymbol X^T\boldsymbol X = \boldsymbol A$ имеет много решений: подходит любая матрица $\boldsymbol X = \boldsymbol C\boldsymbol U$, где $\boldsymbol C$ — произвольная ортогональная матрица. Действительно,

Среди этих решений только одна матрица симметрична. Она называется квадратным корнем из $\boldsymbol A$ и обозначается $\boldsymbol A^{1/2}$. Её можно явно указать на основе теоремы о приведении $\boldsymbol A$ к главным осям: если $\boldsymbol C^T\boldsymbol A\boldsymbol C = \boldsymbol\Lambda$, то $\boldsymbol A^{1/2} = \boldsymbol C\boldsymbol\Lambda^{1/2}\boldsymbol C^T$. Матрица $\boldsymbol A^{1/2}$ имеет наибольший след среди всех решений $\boldsymbol X$.

По кирпичикам: зачем статистику корень из матрицы? Чтобы получить нормальный вектор с ковариацией $\boldsymbol\Sigma$, берут стандартный $\boldsymbol\zeta$ с независимыми $\mathcal N(0, 1)$ компонентами и умножают на «корень»: $\boldsymbol\xi = \boldsymbol\mu + \boldsymbol U^T\boldsymbol\zeta$ или $\boldsymbol\mu + \boldsymbol\Sigma^{1/2}\boldsymbol\zeta$. Ковариация будет $\boldsymbol U^T\boldsymbol U = \boldsymbol\Sigma$ (свойство 5 из П2). Так устроены датчики во всех многомерных виджетах этого учебника.

Обобщённая проблема собственных значений

Теорема. Для неотрицательно определённой матрицы $\boldsymbol A$ и положительно определённой $\boldsymbol B$ найдётся такая невырожденная матрица $\boldsymbol D$, что

Здесь $\boldsymbol\Lambda$ — диагональная матрица с неотрицательными элементами $\lambda_1 \ge \lambda_2 \ge \dots \ge \lambda_n$ на главной диагонали, которые могут быть получены как решения характеристического уравнения $\det(\boldsymbol A - \lambda\boldsymbol B) = 0$ или $\det(\boldsymbol A\boldsymbol B^{-1} - \lambda\boldsymbol E) = 0$. Числа $\lambda_i$ называются собственными значениями матриц $\boldsymbol A$ и $\boldsymbol B$.

Доказательство. Отметим, что матрица $\boldsymbol A\boldsymbol B^{-1}$ не обязательно является симметричной. Однако $\boldsymbol S = \boldsymbol B^{-1/2}\boldsymbol A\boldsymbol B^{-1/2}$, очевидно, симметрична (здесь $\boldsymbol B^{-1/2} \equiv (\boldsymbol B^{1/2})^{-1}$). Она также неотрицательно определена:

При этом характеристическое уравнение

Обозначим через $\boldsymbol C$ ортогональную матрицу преобразования, приводящего $\boldsymbol S$ к главным осям: $\boldsymbol C^T\boldsymbol S\boldsymbol C = \boldsymbol\Lambda$. Тогда $\boldsymbol D = \boldsymbol B^{-1/2}\boldsymbol C$. Действительно,

Из доказанной теоремы легко вывести, что выполняются равенства $\operatorname{tr}(\boldsymbol A\boldsymbol B^{-1}) = \sum_{i=1}^n\lambda_i$ и $\det(\boldsymbol A\boldsymbol B^{-1}) = \prod_{i=1}^n\lambda_i$. $\blacksquare$

Смысл по-пацански: две квадратичные формы — «разброс между группами» $\boldsymbol A$ и «разброс внутри групп» $\boldsymbol B$. Есть одна система координат, в которой «внутри» становится круглым шаром, а «между» — диагональным. В этих координатах видно, вдоль каких направлений группы различаются сильнее всего относительно внутреннего шума. Это сердце дискриминантного анализа и критерия Уилкса (гл. 19).

Проверь себя