§2. Эллипсоид рассеяния

Рассмотрим $m$-мерный случайный вектор $\boldsymbol\xi$ с математическим ожиданием $\mathbf M\boldsymbol\xi = \boldsymbol 0$ и ковариационной матрицей $\boldsymbol\Sigma_\xi$. В частности, годится эмпирическое распределение — у которого каждому набору координат $i$-го объекта (строке таблицы данных $\boldsymbol X$) приписана вероятность $1/n$ — с нулевыми средними арифметическими значений координат признаков (допущение Д1 из §1) и выборочной ковариационной матрицей $\hat{\boldsymbol\Sigma}$.

В П10 доказано, что любая ковариационная матрица неотрицательно определена. Потребуем дополнительно, чтобы матрица $\boldsymbol\Sigma_\xi$ была невырожденной. Это равносильно её положительной определённости, а также положительности всех её собственных значений $\lambda_1 \ge \dots \ge \lambda_m$. Обозначим соответствующие им собственные векторы (направления главных осей) через $\boldsymbol c_1, \dots, \boldsymbol c_m$.

Для произвольного направления $\boldsymbol d$ в $\mathbb R^m$ ($|\boldsymbol d| = 1$) случайная величина $\zeta = \boldsymbol d^T\boldsymbol\xi$ представляет собой координату проекции вектора $\boldsymbol\xi$ на направление $\boldsymbol d$. Найдём такое направление, для которого дисперсия $\mathbf D\zeta$ имеет наибольшее значение. Запишем:

В точности так же, как в §1 для случая выборочной ковариационной матрицы $\hat{\boldsymbol\Sigma}$, доказывается, что максимум дисперсии $\mathbf D\zeta$ достигается на направлении $\boldsymbol c_1$. Аналогично устанавливается, что при $l > 1$ собственный вектор $\boldsymbol c_l$ является направлением с наибольшей дисперсией $\mathbf D\zeta$ среди направлений, ортогональных векторам $\boldsymbol c_1, \dots, \boldsymbol c_{l-1}$.

В силу того, что $\boldsymbol\Sigma_\xi$ невырождена, существует обратная к ней матрица $\boldsymbol\Sigma_\xi^{-1}$, которая также положительно определена (см. вопрос 6 главы 19).

Определение. Эллипсоидом рассеяния распределения вектора $\boldsymbol\xi$ называется $m$-мерный эллипсоид

$$\boldsymbol x^T\boldsymbol\Sigma_\xi^{-1}\boldsymbol x \le m + 2.$$

Он однозначно выделяется среди всех других эллипсоидов следующим своим свойством. Если рассмотреть равномерно распределённый на нём вектор $\boldsymbol U$ (имеющий постоянную плотность внутри эллипсоида и равную 0 вне его), то первые (равные 0) и вторые моменты (то есть ковариации компонент) вектора $\boldsymbol U$ совпадут с моментами вектора $\boldsymbol\xi$.

По кирпичикам: откуда $m + 2$. Возьмём равномерный вектор в шаре радиуса $r$ в $\mathbb R^m$. Его радиус $|\boldsymbol U|$ имеет плотность $\propto \rho^{m-1}$ на $[0, r]$, поэтому $\mathbf M|\boldsymbol U|^2 = \frac m{m+2}r^2$. По симметрии на каждую из $m$ координат приходится $\frac1m$ этой величины: $\mathbf DU_l = \frac{r^2}{m+2}$. Чтобы дисперсия была 1, нужен $r^2 = m + 2$. А эллипсоид — это растянутый шар, и растяжение переносит ковариацию $\boldsymbol E$ в $\boldsymbol\Sigma_\xi$.

Осями эллипсоида рассеяния служат главные оси матрицы $\boldsymbol\Sigma_\xi$. Длины его полуосей пропорциональны $\sqrt{\lambda_l}$, где $\lambda_l$ — собственные значения матрицы $\boldsymbol\Sigma_\xi$, а $m$-мерный объём равен константе, умноженной на $(\det\boldsymbol\Sigma_\xi)^{1/2} = (\lambda_1\dots\lambda_m)^{1/2}$.

Смысл по-пацански: эллипсоид рассеяния — это «паспортное фото» ковариационной матрицы. Вся информация о разбросах и корреляциях упакована в одну картинку: куда вытянут, во сколько раз, под каким углом.

Подвигай $\rho$: при $\rho = 0$ и $\sigma_1 = \sigma_2$ эллипс становится кругом, и главные оси «теряют направление» — собственные значения совпадают. Переключи «Равномерно внутри эллипса»: выборочная $\hat{\boldsymbol\Sigma}$ равномерных точек оказывается близка к истинной $\boldsymbol\Sigma$. Это и есть определяющее свойство эллипсоида рассеяния.

Сравнение рассеяний

В заключение параграфа познакомимся с одним из способов сравнения «степеней рассеяния» многомерных распределений, который связан с их эллипсоидами рассеяния. Пусть $m$-мерные случайные векторы $\boldsymbol\xi$ и $\boldsymbol\eta$ имеют распределения с $\mathbf M\boldsymbol\xi = \mathbf M\boldsymbol\eta = \boldsymbol 0$ и матрицами ковариаций $\boldsymbol\Sigma_\xi$, $\boldsymbol\Sigma_\eta$.

Определение. Будем говорить, что среднеквадратическое рассеяние случайного вектора $\boldsymbol\xi$ вокруг начала координат $\boldsymbol 0$ не больше, чем рассеяние вектора $\boldsymbol\eta$, если для любого $\boldsymbol d \in \mathbb R^m$ верно неравенство

$$\mathbf M(\boldsymbol d^T\boldsymbol\xi)^2 \le \mathbf M(\boldsymbol d^T\boldsymbol\eta)^2. \tag{5}$$

Неравенство (5) означает, что дисперсия случайной величины $\boldsymbol d^T\boldsymbol\xi$ для любого направления $\boldsymbol d$ не превосходит дисперсии случайной величины $\boldsymbol d^T\boldsymbol\eta$. Раскрывая скобки, очевидно, получаем, что неравенство (5) равносильно неотрицательной определённости матрицы $\boldsymbol\Sigma_\eta - \boldsymbol\Sigma_\xi$.

Доказано, что при условии невырожденности матриц $\boldsymbol\Sigma_\xi$ и $\boldsymbol\Sigma_\eta$ среднеквадратическое рассеяние вектора $\boldsymbol\xi$ вокруг начала координат не больше рассеяния вектора $\boldsymbol\eta$ тогда и только тогда, когда эллипсоид рассеяния вектора $\boldsymbol\xi$ целиком лежит внутри эллипсоида рассеяния вектора $\boldsymbol\eta$.

Смысл по-пацански: один вектор «скромнее» другого, если его эллипсоид целиком помещается внутри чужого. Не «в среднем», не «по объёму», а целиком, по всем направлениям сразу.

Замечание 3. При $m \ge 2$ неравенство (5) устанавливает лишь частичный порядок на множестве ковариационных матриц. Например, матрицы $\begin{pmatrix}2 & 0\\0 & 3\end{pmatrix}$ и $\begin{pmatrix}5 & 0\\0 & 1\end{pmatrix}$ не лучше и не хуже одна другой: в направлении $\boldsymbol d = (1, 0)$ меньше дисперсия для первой матрицы, а в направлении $\boldsymbol d = (0, 1)$ — для второй. Эллипсы пересекаются, ни один не лежит внутри другого.

В подобной ситуации для сравнения «степеней рассеяния» многомерных законов обычно используют такие скалярные характеристики ковариационных матриц, как след $\lambda_1 + \dots + \lambda_m$ или определитель $\lambda_1\dots\lambda_m$. При этом надо иметь в виду, что выводы для разных характеристик (как и для выше приведённых матриц) могут оказаться прямо противоположными: следы равны $5$ и $6$ (первая «скромнее»), а определители — $6$ и $5$ (первая «размашистее»). Эту тему продолжает задача 1.

Смысл по-пацански: сравнивать два облака одним числом — как сравнивать двух бойцов по одному весу. По следу один тяжелее, по определителю — другой, а честный ответ «смотря в каком направлении бьют».

Проверь себя