§4. Улучшение несмещённых оценок: нет худа без добра

Пусть $\hat\theta$ — несмещённая оценка параметра $\theta$, то есть $\mathbf{M}\hat\theta = \theta$ для всех $\theta \in \Theta$. Допустим, что в модели существует достаточная статистика $\mathbf T$. Тогда её можно использовать для улучшения оценки $\hat\theta$.

Теорема 3 (Колмогоров — Блекуэлл — Рао). Предположим, что дисперсия $\mathbf{D}\hat\theta < \infty$ для всех $\theta \in \Theta$. Рассмотрим оценку $\hat\theta_{\mathbf T} = \mathbf{M}\bigl(\hat\theta(\mathbf X) \mid \mathbf T\bigr)$. Тогда $\hat\theta_{\mathbf T}$ также будет несмещённой оценкой для параметра $\theta$, причём $\mathbf{D}\hat\theta_{\mathbf T} \le \mathbf{D}\hat\theta$ при всех $\theta \in \Theta$.

По кирпичикам: $\mathbf{M}(\hat\theta \mid \mathbf T)$ — условное матожидание: среднее значение оценки по всем выборкам с тем же значением $\mathbf T$, что у нашей. Мы как бы «размазываем» оценку по линии уровня $\{\mathbf T = \mathbf t\}$ и берём среднее.

Смысл по-пацански: оценка, которая смотрит на случайные детали выборки (например, только на первого пацана), носит в себе лишний шум — шум второго этапа розыгрыша из §1. Усредни её по всем «перетасовкам», совместимым с той же достаточной статистикой, — шум уйдёт, а суть останется.

Доказательство

Это вообще оценка? То, что $\hat\theta_{\mathbf T} = \mathbf{M}(\hat\theta(\mathbf X) \mid \mathbf T)$ является оценкой, то есть не зависит от $\theta$, следует из достаточности $\mathbf T$: распределение выборки $\mathbf X$ при фиксированном значении $\mathbf T$ от $\theta$ не зависит. Без достаточности так нельзя — получилась бы формула с неизвестным $\theta$ внутри.

Несмещённость. По свойству условного матожидания (формула полного матожидания):

Дисперсия. Вставим и вычтем $\hat\theta_{\mathbf T}$:

поскольку первое слагаемое неотрицательно, а второе равно 0. Действительно, $\hat\theta_{\mathbf T}$ — функция от $\mathbf T$, поэтому её можно вынести из-под условного матожидания:

По сути, это та же формула «ошибка = разброс + смещение²» из главы 6, только разброс разложен на две части: шум «внутри линии уровня» и шум самой $\mathbf T$. Первый мы выкидываем.

Попытка дальнейшего улучшения $\hat\theta_{\mathbf T}$ с помощью $\mathbf T$ бесполезна: $\mathbf{M}(\hat\theta_{\mathbf T} \mid \mathbf T) = \hat\theta_{\mathbf T}$ — она уже функция от $\mathbf T$.

Замечание. Можно доказать, что операция усреднения по достаточной статистике не приводит к увеличению риска $R_{\hat\theta}(\theta) = \mathbf{M}\rho(\hat\theta - \theta)$ (глава 6) относительно произвольной непрерывной выпуклой функции потерь $\rho$. Поэтому хорошие оценки, как правило, являются функциями от достаточных статистик.

Пример: схема Бернулли

Следующий пример показывает, что в качестве исходной в теореме 3 может фигурировать даже оценка, не обладающая свойством состоятельности.

Пример 3. Для выборки из закона Бернулли с неизвестной вероятностью «успеха» $\theta$ попробуем улучшить оценку $\hat\theta = X_1$ с помощью достаточной статистики $T = \sum X_i$. Несмещённость: $\mathbf{M}X_1 = 1 \cdot \theta + 0 \cdot (1 - \theta) = \theta$. Вычисляем условное матожидание:

Получаем $\hat\theta_T = \mathbf{M}(\hat\theta \mid T) = T/n = \bar X$. Дисперсия при этом уменьшилась в $n$ раз: была $\theta(1 - \theta)$, стала $\theta(1 - \theta)/n$.

Смысл по-пацански: «первый пацан принёс или не принёс» — оценка удачливости по одному. Если знаешь, что всего принесли $t$ из $n$, то шанс, что именно первый в их числе, — $t/n$. Это и есть частота.

Пример: равномерный закон

Вернёмся к главе 6. На отрезке $[0, \theta]$ у нас была несостоятельная несмещённая оценка $\hat\theta_4 = (n + 1)X_{(1)}$. Достаточная статистика здесь $X_{(n)}$ (вопрос 1). При условии $X_{(n)} = m$ остальные $n - 1$ точек — равномерные на $[0, m]$, и их минимум в среднем равен $m/n$. Поэтому

— та самая лучшая несмещённая оценка из главы 6! Дисперсия упала с $\frac{n\theta^2}{n+2}$ до $\frac{\theta^2}{n(n+2)}$ — в $n^2$ раз.

Пощупай руками

Три модели. Синие столбики — исходная несмещённая оценка, красные — после усреднения по достаточной статистике. Средние одинаковые (обе несмещённые), но красный горб узкий:

• Бернулли: $X_1$ (только 0 или 1) → частота $\bar X$;
• Гамма с $\alpha = 2$: $1/X_1$ с бесконечной дисперсией → $(2n - 1)/\sum X_i$ с дисперсией $\theta^2/(2n - 2)$ (задача 5). Условие $\mathbf{D}\hat\theta < \infty$ из теоремы тут нарушено, но несмещённость усреднение всё равно сохраняет, а неравенство $\infty \ge \mathbf{D}\hat\theta_T$ выполняется тривиально;
• Равномерный: $(n + 1)X_{(1)}$ → $\frac{n+1}{n}X_{(n)}$.

Проверим условное матожидание в схеме Бернулли кодом: среди выборок с одинаковой суммой $t$ доля тех, где $X_1 = 1$, равна $t/n$.

Проверь себя