§3. Информационное неравенство: точнее, чем позволяет инфа, не бывает

Сколько ни старайся, по $n$ наблюдениям параметр не оценишь сколь угодно точно — в данных просто нет столько информации. Это можно измерить числом. Тогда для любой оценки появляется потолок точности.

Условия регулярности

Пусть $f(x, \theta)$ — плотность распределения случайной величины $X_1$ (для дискретных моделей тем же значком обозначаем $\mathbf{P}(X_1 = x)$). Допустим, что выполнены условия регулярности:

• R1) параметрическое множество $\Theta$ — открытый интервал на прямой (возможно, бесконечный);
• R2) носитель распределения $A = \{x : f(x, \theta) > 0\}$ не зависит от параметра $\theta$;
• R3) при любых $x \in A$ и $\theta \in \Theta$ производная $\frac{\partial}{\partial\theta}f(x, \theta)$ существует и конечна;
• R4) для случайной величины $U_1 = \frac{\partial}{\partial\theta}\ln f(X_1, \theta)$ при всех $\theta \in \Theta$ справедливы тождество $\mathbf{M}U_1 \equiv 0$ и неравенство $0 < I_1(\theta) = \mathbf{D}U_1 < \infty$.

Величину $U_1$ называют вкладом (по-английски score): насколько сильно наблюдение «тянет» логарифм правдоподобия при сдвиге $\theta$.

Откуда $\mathbf{M}U_1 = 0$. Оно верно для моделей, где производную по $\theta$ правой части тождества $1 = \int_A f(x, \theta)\,dx$ можно вычислить дифференцированием под знаком интеграла:

По кирпичикам: производная логарифма — это производная функции, делённая на саму функцию. Домножили и разделили на $f$, получили матожидание.

Контрпример — равномерное распределение на отрезке $[0, \theta]$, $\theta \in (0, +\infty)$. Носитель $A = [0, \theta]$ зависит от $\theta$, условие R2 нарушено, и

Когда граница интегрирования сама зависит от $\theta$, дифференцировать под знаком интеграла нельзя.

Информация Фишера

Для выборки $\mathbf{X} = (X_1, \dots, X_n)$ совместная плотность в силу независимости распадается в произведение: $f(\mathbf{x}, \theta) = \prod_{i=1}^n f(x_i, \theta)$. Рассмотрим

Логарифм превратил произведение в сумму независимых одинаково распределённых слагаемых. Поэтому $\mathbf{M}U_n = 0$ и $\mathbf{D}U_n = n I_1(\theta)$.

Определение. Информацией Фишера для случайного вектора $\boldsymbol\xi$ с плотностью (в дискретном случае — с совместной вероятностью компонент) $f(\mathbf{x}, \theta)$ называется

$$I_{\boldsymbol\xi}(\theta) = \mathbf{M}\left[\frac{\partial}{\partial\theta}\ln f(\boldsymbol\xi, \theta)\right]^2.$$

Содержащаяся в выборке информация $I_{\mathbf X}(\theta) \equiv I_n(\theta) = \mathbf{D}U_n = n I_1(\theta)$ пропорциональна размеру выборки. Каждое наблюдение приносит одну и ту же порцию $I_1(\theta)$.

Смысл по-пацански: информация Фишера — насколько резко меняется «правдоподобие картинки», когда сдвигаешь $\theta$. Если от малого сдвига параметра данные выглядят совсем по-другому, параметр хорошо различим, и информации много. Если данные почти не меняются — параметр мутный.

Неравенство Рао — Крамера

Информационное неравенство (Рао — Крамер). Допустим, что выполнены условия R1–R4, $\hat\theta$ — любая оценка с $\mathbf{M}\hat\theta^2 < \infty$, для которой производная по $\theta$ от функции

$$a(\theta) = \mathbf{M}\hat\theta = \int_{\mathbb{R}^n}\hat\theta(\mathbf{x})\,f(\mathbf{x}, \theta)\,d\mathbf{x}$$

существует и может быть получена дифференцированием под знаком интеграла. Тогда

$$\mathbf{D}\hat\theta \ge \frac{[a'(\theta)]^2}{I_n(\theta)} = \frac{[a'(\theta)]^2}{n I_1(\theta)}.$$

В частности, для оценок со смещением $b(\theta)$ (то есть $a(\theta) = \theta + b(\theta)$) нижней границей служит $[1 + b'(\theta)]^2/I_n(\theta)$, а для несмещённых оценок —

Доказательство. Дифференцируем под знаком интеграла и снова используем «производная логарифма = производная, делённая на функцию»:

Так как $\mathbf{M}U_n = 0$, можно вычесть константу: $a'(\theta) = \mathbf{M}\bigl[(\hat\theta - \mathbf{M}\hat\theta)\,U_n\bigr]$. По неравенству Коши — Буняковского $(\mathbf{M}\xi\eta)^2 \le \mathbf{M}\xi^2\,\mathbf{M}\eta^2$:

Несмещённые оценки, на которых достигается нижняя граница $1/I_n(\theta)$, называются эффективными.

Смысл по-пацански: оценка — это попытка угадать $\theta$, а вклад $U_n$ — «стрелка», куда данные тянут $\theta$. Чтобы оценка реагировала на $\theta$ (а несмещённая обязана реагировать один к одному), она должна быть связана со стрелкой. А связь двух величин ограничена их разбросами. Отсюда и потолок.

Пример: нормальный сдвиг

Пример 4. Пусть $X_i \sim N(\theta, \sigma^2)$, где масштаб $\sigma$ известен, а сдвиг $\theta$ — нет. Тогда

Отсюда $I_1(\theta) = \mathbf{D}U_1 = \sigma^{-4}\,\mathbf{D}(X_1 - \theta) = \sigma^{-2}$. Граница Рао — Крамера $\sigma^2/n$ — это ровно дисперсия $\bar X$. Значит, $\bar X$ — эффективная оценка в этой модели: точнее среди несмещённых не бывает.

Сверхэффективность

Информационное неравенство показывает, что для регулярных моделей погрешность оценки $\sqrt{\mathbf{D}\hat\theta}$ не может убывать быстрее, чем $C/\sqrt n$.

Контрпример — максимум выборки $X_{(n)}$ из равномерного закона на $[0, \theta]$: он оценивает $\theta$ с точностью порядка $1/n$ (задача 3 главы 1). Никакого противоречия — модель нерегулярна (носитель зависит от $\theta$). Подобные оценки называются сверхэффективными.

Проверим всё кодом: сравним $n\,\mathbf{D}\hat\theta$ с границей $1/I_1$.

Частота и $\bar X$ упираются ровно в границу. Медиана для Коши выше границы — значит, есть оценки и получше (§4–§5). А подвинутый максимум пробивает «границу» насквозь — у нерегулярной модели её просто нет.

Замечание. Другие условия регулярности, обеспечивающие выполнение неравенства Рао — Крамера, можно найти в литературе. Главное — дифференцирование под знаком интеграла и независимость носителя от параметра.

Проверь себя