§4. Минимаксная оценка в схеме Бернулли: теория обещала, практика не дала

Частота $\bar X$ в схеме Бернулли — несмещённая оценка вероятности успеха $\theta$, причём с равномерно минимальной дисперсией среди несмещённых (§3). Лучше не бывает? Бывает, если разрешить смещение. Для квадратичного штрафа минимаксная оценка — оценка с наименьшим максимумом риска — это оценка Ходжеса — Лемана:

По кирпичикам: берём частоту и подтягиваем её к $\tfrac12$ на долю $\varepsilon_n = \dfrac{1}{1+\sqrt n}$ расстояния. То же самое в виде взвешенного среднего:

При $n = 9$ получаем $\varepsilon_9 = \tfrac14$: три четверти веса частоте и четверть — середине. С ростом $n$ поправка тает, и $\tilde\theta$ сливается с $\bar X$.

Риск Ходжеса — Лемана

Посчитаем смещение и дисперсию, зная $\mathbf{M}\bar X = \theta$ и $\mathbf{D}\bar X = \theta(1-\theta)/n$:

Оценка смещённая (в сторону $\tfrac12$), но состоятельная: оба слагаемых уходят в ноль, и работает лемма из §2. Квадратичный риск = дисперсия + смещение² (задача 4 доводит алгебру до конца):

Риск не зависит от $\theta$ — горизонтальная прямая. А у частоты парабола $\theta(1-\theta)/n$ с вершиной $\tfrac{1}{4n}$. Прямая лежит ниже вершины параболы, и максимум у $\tilde\theta$ меньше. Это и есть минимаксность.

Около $\theta = \tfrac12$ оценка $\tilde\theta$ точнее частоты: она подтягивает $\bar X$ к $\tfrac12$, а истина там и сидит. При $n = 9$ прямая $\tfrac{1}{64}$ ниже параболы на отрезке примерно от $0{,}17$ до $0{,}83$, то есть на двух третях значений $\theta$ ($0{,}83 - 0{,}17 = 0{,}66$).

Эксперимент

Проверим на практике.

1. Задумай вероятность успеха $\theta_0 \in (0, 1)$.
2. Смоделируй выборку размера $n = 9$ из закона Бернулли, например по таблице случайных чисел из главы 2: число меньше $100\,\theta_0$ — пишем «1», иначе «0».
3. Посчитай обе оценки и посмотри, какая ближе к $\theta_0$.

У Лагутина: $\theta_0 = 0{,}17$, выборка $1, 1, 0, 0, 0, 0, 0, 1, 0$. Тогда $\bar x = \tfrac39 \approx 0{,}333$ и $\tilde\theta = \tfrac34 \cdot \tfrac13 + \tfrac14 \cdot \tfrac12 = \tfrac38 = 0{,}375$. В этот раз частота ближе.

Если повторять эксперимент много раз, каждый раз загадывая новое $\theta_0$, то $\tilde\theta$ окажется ближе к $\theta_0$ примерно в половине случаев. А по «теории» выше, кажется, должно быть заметно чаще — ведь на двух третях $\theta$ её риск меньше!

Разгадка

Дело в том, что, сравнивая $\bar X$ и $\tilde\theta$, мы смотрим, какая оказалась ближе к $\theta_0$, а не платим квадратичный штраф за промах. Это другая функция потерь.

Сформулируем как игру. Ставка $C$ на то, что $\tilde\theta$ ближе. Средний выигрыш

Игра выгодна, когда $p(\theta) > \tfrac12$. Функция $p(\theta)$ симметрична относительно $\tfrac12$, и при $\theta \le \tfrac12$ её можно выписать явно:

Откуда она: $\tilde\theta$ ближе к $\theta$, если только $\bar X$ не попала в «плохую» полосу, где подтяжка к $\tfrac12$ перескакивает через $\theta$ или уводит от него. Вероятность полосы считается через биномиальный закон $n\bar X$ из главы 5.

График $p(\theta)$ — гребёнка: скачки возникают, когда граница полосы перепрыгивает через очередное возможное значение $k/n$. Где-то $p > \tfrac12$, где-то $p < \tfrac12$, и выигрыши почти уравновешены проигрышами. Если считать $\theta_0$ равномерным на $[0, 1]$ (байесовский взгляд), то при $n = 9$ площади над и под уровнем $\tfrac12$ отличаются всего на $0{,}008$.

Смысл по-пацански: квадратичный риск штрафует за размер промаха. Ходжес — Леман иногда мажет чуть сильнее, зато реже даёт крупные промахи — по квадратам он в плюсе. А в споре «кто ближе» размер промаха никого не волнует, считаются только очки. Тут шансы почти 50 на 50.

Посчитаем и то и другое кодом:

Тот же фокус в нормальной модели

Похожая ситуация возникает при оценке параметра сдвига $\mu$ в нормальной модели $X_i \sim N(\mu, \sigma^2)$ с известным $\sigma$ — это модель измерений прибором известной точности. Там выборочное среднее $\bar X$ — и несмещённая оценка с равномерно минимальной дисперсией, и минимаксная для квадратичного риска. Тем не менее существует оценка $\tilde\mu$, для которой $\mathbf{P}(|\tilde\mu - \mu| < |\bar X - \mu|) > \tfrac12$ при всех $\mu$:

где $\Phi$ — функция распределения $N(0, 1)$. Она чуть подтягивает $\bar X$ к нулю. В споре «кто ближе» лучшая по квадратам оценка проигрывает всегда.

Мораль главы: «лучшая оценка» — это всегда «лучшая по такому-то критерию». Поменял штраф — поменялся победитель. На хорошее всегда найдётся лучшее.

Проверь себя