П9. Характеристические функции и многомерное нормальное распределение

В этом разделе $i$ обозначает комплексное число $\sqrt{-1}$. Используемые термины матричного исчисления определены в П10.

Характеристические функции

Определение. Характеристической функцией (х. ф.) случайной величины $\xi$ называется комплекснозначная функция действительного аргумента

Например, для $X \sim \mathcal N(\mu, \sigma^2)$ характеристической функцией служит $\psi_X(t) = \exp\bigl\{it\mu - \frac12\sigma^2t^2\bigr\}$.

По $\psi_\xi(t)$ функция распределения $F_\xi(x)$ определяется однозначно. В частности, если $\int_{-\infty}^\infty|\psi_\xi(t)|\,dt < \infty$, то у случайной величины $\xi$ есть плотность, вычисляемая по формуле обратного преобразования Фурье:

По кирпичикам: х. ф. — «спектр» распределения. $\mathsf M\cos(t\xi)$ показывает, насколько значения $\xi$ «в фазе» с волной частоты $t$. Плотность и х. ф. — два способа записать одну и ту же информацию, как звук можно записать волной или нотами. Главная выгода — сумма независимых величин превращается в произведение х. ф. (свойство 2), а свёртка (П3) — тяжёлый интеграл.

Смысл по-пацански: складывать независимые величины через свёртку — как перемножать числа в столбик. Х. ф. — это логарифмическая линейка: перешёл в «пространство частот», там свёртка стала умножением, перемножил — и вернулся обратно.

Свойства характеристических функций

1. $\psi_\xi(0) = 1$, $\;|\psi_\xi(t)| \le \mathsf M|e^{it\xi}| = 1$.
2. Если $\xi$ и $\eta$ независимы, то $\psi_{\xi+\eta}(t) = \mathsf Me^{it(\xi+\eta)} = \mathsf M(e^{it\xi}\cdot e^{it\eta}) = \mathsf Me^{it\xi}\cdot\mathsf Me^{it\eta} = \psi_\xi(t)\cdot\psi_\eta(t)$.
3. $\psi_{a+b\xi}(t) = \mathsf Me^{it(a+b\xi)} = e^{ita}\,\mathsf Me^{i(bt)\xi} = e^{ita}\psi_\xi(bt)$.
4. Если $\mathsf M|\xi|^n < \infty$, то $\psi_\xi^{(n)}(0) = i^n\mathsf M\xi^n$. Обратно, если существует и конечна $\psi_\xi^{(2n)}(0)$, то $\mathsf M\xi^{2n} < \infty$.

По кирпичикам — как свойства 2 и 3 доказывают ЦПТ (П6) в один абзац. Для $S_n^* = \sum(X_i - \mu)/(\sigma\sqrt n)$ по свойствам 2 и 3 $\psi_{S_n^*}(t) = \bigl[\psi\bigl(t/(\sigma\sqrt n)\bigr)\bigr]^n$, где $\psi$ — х. ф. $X_1 - \mu$. По свойству 4 $\psi(s) = 1 - \frac12\sigma^2s^2 + o(s^2)$. Тогда $\bigl[1 - \frac{t^2}{2n} + o(1/n)\bigr]^n \to e^{-t^2/2}$ — х. ф. стандартного нормального закона. По теореме непрерывности (ниже) это и есть сходимость по распределению.

Определение. Характеристической функцией случайного вектора $\boldsymbol\xi = (\xi_1, \dots, \xi_k)$ называется функция от $\boldsymbol t = (t_1, \dots, t_k)$

Теорема непрерывности. Из сходимости $\boldsymbol\xi_n \xrightarrow{d} \boldsymbol\xi$ при $n \to \infty$ (см. П5) вытекает, что $\psi_{\boldsymbol\xi_n}(\boldsymbol t) \to \psi_{\boldsymbol\xi}(\boldsymbol t)$ при всех $\boldsymbol t \in \mathbb R^k$.

Обратно: пусть $\psi_{\boldsymbol\xi_n}(\boldsymbol t) \to \psi(\boldsymbol t)$ при всех $\boldsymbol t$, где $\psi$ непрерывна в $\boldsymbol 0$, тогда $\psi$ является характеристической функцией распределения, предельного для распределений случайных векторов $\boldsymbol\xi_n$.

Многомерный нормальный закон

Определение. Случайный вектор $\boldsymbol\xi$ называется нормальным с параметрами $\boldsymbol\mu$ и $\boldsymbol\Sigma$ (обозн. $\boldsymbol\xi \sim \mathcal N(\boldsymbol\mu, \boldsymbol\Sigma)$), где $\boldsymbol\mu = (\mu_1, \dots, \mu_k)$, матрица $\boldsymbol\Sigma = \|\sigma_{ij}\|_{k\times k}$ неотрицательно определена, если

Для такого вектора $\mathsf M\xi_j = \mu_j$ и $\operatorname{cov}(\xi_i, \xi_j) = \sigma_{ij}$.

Свойства нормального вектора:

• Некоррелированность компонент нормального вектора ($\sigma_{lj} = 0$ при $l \ne j$) эквивалентна их независимости.
• Вектор $\boldsymbol\xi$ является нормальным тогда и только тогда, когда для любого $\boldsymbol\lambda = (\lambda_1, \dots, \lambda_k)$ линейная комбинация его компонент $\boldsymbol\lambda^T\boldsymbol\xi$ имеет нормальное распределение.
• Если $\boldsymbol\xi \sim \mathcal N(\boldsymbol\mu, \boldsymbol\Sigma)$ и $\boldsymbol B$ — произвольная числовая $(m \times k)$-матрица, то $\boldsymbol\eta = \boldsymbol B\boldsymbol\xi \sim \mathcal N(\boldsymbol B\boldsymbol\mu, \boldsymbol B\boldsymbol\Sigma\boldsymbol B^T)$.
• Когда ранг матрицы $\boldsymbol\Sigma$ равен $r < k$, распределение $\boldsymbol\xi$ сосредоточено в $r$-мерной гиперплоскости $\boldsymbol\mu + \boldsymbol\Sigma\boldsymbol x$, где $\boldsymbol x$ пробегает $\mathbb R^k$.

В случае невырожденности $\boldsymbol\Sigma$ (т. е. когда $r = k$) нормальный вектор $\boldsymbol\xi$ имеет положительную на всём $\mathbb R^k$ плотность

где $\det\boldsymbol\Sigma$ и $\boldsymbol\Sigma^{-1}$ суть соответственно определитель и обратная матрица матрицы ковариаций $\boldsymbol\Sigma$.

В частности, для $k = 2$, $\mu_1 = \mu_2 = 0$, $\sigma_{11} = \sigma_{22} = 1$, $\sigma_{12} = \sigma_{21} = \rho$

где $\rho$ — коэффициент корреляции между $\xi_1$ и $\xi_2$ (здесь $|\rho| < 1$).

По кирпичикам: линии уровня плотности — множества, где $(\boldsymbol x - \boldsymbol\mu)^T\boldsymbol\Sigma^{-1}(\boldsymbol x - \boldsymbol\mu) = c$, т. е. эллипсы (эллипсоиды) с центром $\boldsymbol\mu$. Их оси — собственные векторы $\boldsymbol\Sigma$, а полуоси пропорциональны корням из собственных чисел (П10). Отсюда «эллипс рассеяния» гл. 20 и все многомерные критерии гл. 23.

Смысл по-пацански: одномерный нормальный закон — «колокол». Двумерный — «холм», и если смотреть на него сверху, видны эллипсы-горизонтали. Корреляция наклоняет холм вдоль диагонали, разные дисперсии вытягивают его.

Контрпример: нормальные компоненты — ещё не нормальный вектор

С помощью этих свойств можно показать, что нормальности компонент недостаточно для того, чтобы вектор был нормальным. Действительно, рассмотрим случайный вектор

где $\xi \sim \mathcal N(0, 1)$ и $\eta \sim \mathcal N(0, 1)$ независимы. Нетрудно проверить, что каждая из компонент $\xi'$ и $\eta'$ будет стандартной нормальной. При этом плотность вектора $(\xi', \eta')$ равна удвоенной плотности $(\xi, \eta)$ в I и III координатных углах и равна 0 во II и IV координатных углах.

По кирпичикам — проверяем $\eta'$: при $\xi \ge 0$ (вероятность ½) $\eta' = |\eta|$, при $\xi < 0$ — $-|\eta|$, причём знак $\xi$ не зависит от $|\eta|$. Значит, $\eta'$ — это $|\eta|$ со случайным равновероятным знаком, т. е. снова $\mathcal N(0, 1)$. Но линейная комбинация $\xi' + \eta'$ не нормальна (у неё «провал» около нуля), — а у нормального вектора любая комбинация нормальна.

Представление ξ = μ + Aζ и закон хи-квадрат

Если $\boldsymbol\xi \sim \mathcal N(\boldsymbol\mu, \boldsymbol\Sigma)$ и матрица $\boldsymbol\Sigma$ невырождена, то $\boldsymbol\xi = \boldsymbol\mu + \boldsymbol A\boldsymbol\zeta$, где $\boldsymbol A = \boldsymbol\Sigma^{1/2}$ и $\boldsymbol\zeta$ имеет независимые $\mathcal N(0, 1)$ компоненты.

Из этого представления немедленно вытекает, что для невырожденной $\boldsymbol\Sigma = \|\sigma_{ij}\|_{k\times k}$ квадратичная форма $(\boldsymbol\xi - \boldsymbol\mu)^T\boldsymbol\Sigma^{-1}(\boldsymbol\xi - \boldsymbol\mu)$ имеет распределение хи-квадрат с $k$ степенями свободы.

По кирпичикам: $(\boldsymbol\xi - \boldsymbol\mu)^T\boldsymbol\Sigma^{-1}(\boldsymbol\xi - \boldsymbol\mu) = \boldsymbol\zeta^T\boldsymbol A^T\boldsymbol\Sigma^{-1}\boldsymbol A\boldsymbol\zeta = \boldsymbol\zeta^T\boldsymbol\zeta = \zeta_1^2 + \dots + \zeta_k^2$, потому что для симметричного корня $\boldsymbol A^T\boldsymbol\Sigma^{-1}\boldsymbol A = \boldsymbol\Sigma^{1/2}\boldsymbol\Sigma^{-1}\boldsymbol\Sigma^{1/2} = \boldsymbol E$. Сумма $k$ квадратов независимых стандартных нормальных — по определению $\chi^2_k$. Это та самая формула, на которой построены критерий хи-квадрат (гл. 18), критерии гл. 23 и вывод следствия 4 в гл. 26.

Смысл по-пацански: любой нормальный вектор — это «стандартный круглый» вектор, который растянули, повернули и сдвинули. Квадратичная форма с $\boldsymbol\Sigma^{-1}$ всё это отматывает назад — и остаётся сумма квадратов честных $\mathcal N(0, 1)$. Отсюда и $\chi^2$.

Проверь себя