§2. Метод моментов: приравняй и реши

Моменты

Моментом $k$-го порядка случайной величины $X$ называется $\alpha_k = \mathbf{M}X^k$. Моменты существуют не всегда — например, у закона Коши не определено даже $\alpha_1$ (глава 7).

Из неравенства Ляпунова

и свойства $|\mathbf{M}\xi| \le \mathbf{M}|\xi|$ следует: если $\mathbf{M}|X|^m < \infty$, то существуют все моменты $\alpha_k$ при $k = 1, \dots, m$. Старший момент тянет за собой младшие (вопрос 2).

Выборочные моменты

Положим

Если момент $\alpha_k$ существует, по закону больших чисел $A_k \xrightarrow{\mathbf{P}} \alpha_k$. Значит, для выборки достаточно большого объёма эмпирические моменты $a_k = \frac1n\sum x_i^k$ близки к теоретическим. На этом и основан метод.

Смысл по-пацански: хочешь узнать, сколько в среднем пацан тратит на семки, — опроси толпу и посчитай среднее. По большой толпе выйдет почти точно. Метод моментов — то же самое, только для параметров: «теоретическое среднее равно выборочному», и из этого выражаем параметр.

Метод моментов

Пусть распределение элементов выборки зависит от $m$ неизвестных параметров $\theta_1, \dots, \theta_m$, где вектор $\boldsymbol\theta = (\theta_1, \dots, \theta_m)$ лежит в некоторой области $\Theta \subseteq \mathbb{R}^m$. Пусть $\mathbf{M}|X|^m < \infty$ при всех $\boldsymbol\theta$. Тогда существуют все $\alpha_k = \alpha_k(\boldsymbol\theta)$, $k = 1, \dots, m$, и можно записать систему из $m$ (вообще говоря, нелинейных) уравнений

Предположим, что левая часть задаёт взаимно однозначное отображение $g\colon \Theta \to B$, где $B$ — область в $\mathbb{R}^m$, и что обратное отображение $g^{-1}\colon B \to \Theta$ непрерывно. Иными словами, для всех $(y_1, \dots, y_m)$ из $B$ система (1) имеет единственное решение, непрерывно зависящее от правой части. Компоненты решения $\hat{\boldsymbol\theta} = (\hat\theta_1, \dots, \hat\theta_m)$ при $y_k = A_k$ называются оценками метода моментов. Они случайны, ведь $A_k$ — функции от $X_1, \dots, X_n$.

По кирпичикам: столько параметров — столько моментов. Пишем «теоретический момент = выборочный» и решаем систему.

Примеры

Пример 2. Модель сдвига показательного закона с плотностью $p_\theta(x) = e^{-(x - \theta)}I_{\{x \ge \theta\}}$. Здесь

Из уравнения $1 + \theta = A_1 = \bar X$ находим оценку метода моментов $\hat\theta = \bar X - 1$. Мы её уже встречали в задаче 3 главы 6.

Пример 3. Пусть $X_i$ имеют гамма-распределение с двумя неизвестными параметрами $\theta_1$ (масштаб) и $\theta_2$ (форма):

Моменты гамма-закона (глава 4): $\alpha_1 = \theta_2/\theta_1$ и $\alpha_2 = \theta_2(\theta_2 + 1)/\theta_1^2$. Заметим, что $\alpha_2 - \alpha_1^2 = \theta_2/\theta_1^2$ — это дисперсия. Решив систему, получаем

где $S^2 = A_2 - A_1^2$ — выборочная дисперсия из главы 6.

Свойства оценок

Состоятельность вытекает из непрерывности обратного отображения $g^{-1}$: выборочные моменты сходятся к теоретическим, а непрерывная функция сохраняет сходимость.

Для гладких $g^{-1}$ оценки будут ещё и асимптотически нормальными. Во-первых, по ЦПТ

если $\alpha_{2k} < \infty$. Во-вторых, справедливо обобщение на многомерный случай леммы 1 главы 7 — дельта-метода.

Однако обычно асимптотическая дисперсия оценок метода моментов довольно велика. Наглядный пример — та же модель сдвига показательного закона. Метод моментов даёт $\bar X - 1$ с дисперсией $1/n$, а подправленный минимум $X_{(1)} - 1/n$ — дисперсию $1/n^2$. Это на порядок по $n$ лучше:

Поэтому в §4–§6 будут рассмотрены оценки с наименьшей возможной асимптотической дисперсией для так называемых регулярных моделей (§3).

Смысл по-пацански: метод моментов — как ремонт на глаз: быстро, просто, почти всегда работает, но точности ждать не стоит. Его хорошо использовать как черновик — стартовую точку для более точных методов (§5).

Проверь себя