§3. Функции риска: сколько стоит промах

Несмещённость и состоятельность отсеивают откровенный мусор. Но среди приличных оценок всё равно остаётся выбор: на отрезке $[0, \theta]$ несмещённых и состоятельных у нас уже три. Какая точнее? Чтобы ответить, надо договориться, как мерить точность.

Штраф и риск

Пусть $\rho(u) \ge 0$ — функция штрафа (функция потерь): за промах $\hat\theta - \theta$ платим $\rho(\hat\theta - \theta)$. Обычно $\rho(0) = 0$ и штраф растёт с ростом $|u|$.

Определение. Функцией риска оценки $\hat\theta$ называется

$$R_{\hat\theta}(\theta) = \mathbf{M}\,\rho\bigl(\hat\theta(X_1, \dots, X_n) - \theta\bigr),$$

то есть средняя величина потерь при оценивании $\theta$ с помощью $\hat\theta$.

Два ходовых штрафа:

• $\rho(u) = |u|$ — абсолютный риск, платишь столько, на сколько промазал;
• $\rho(u) = u^2$ — квадратичный риск $\mathbf{M}(\hat\theta - \theta)^2$, большие промахи бьют больнее.

Квадратичный риск мы уже разложили в §2: риск = дисперсия + смещение². Для несмещённой оценки квадратичный риск — просто её дисперсия.

Смысл по-пацански: штраф — сколько ты отдаёшь, если обсчитался на рынке. Риск — сколько в среднем отдаёшь за смену. Одна неудачная сделка ничего не говорит, говорит средний убыток.

Пример 4. Квадратичный риск частоты $\bar X$ в схеме Бернулли. Смещения нет, поэтому

Это парабола с максимумом $\dfrac{1}{4n}$ в точке $\theta = \tfrac12$. Частоту тяжелее всего оценивать, когда монетка честная, и легче всего — когда успех почти никогда или почти всегда.

Проблема: риск — это кривая

Логично считать лучше ту оценку, у которой риск меньше. Но риск — функция от $\theta$, а не число. Если кривые двух оценок пересекаются, то при одних $\theta$ лучше первая, при других — вторая. Что больше: синус или косинус? Вопрос без ответа, пока не договоришься, как сравнивать.

Ниже две такие кривые в схеме Бернулли: риск частоты $\bar X$ и риск оценки Ходжеса — Лемана $\tilde\theta$, которую подробно разберём в §4. Пока достаточно видеть: кривые пересекаются, и в середине выигрывает красная, а по краям — синяя.

Выходов из тупика три.

1. Минимакс: страхуемся от худшего

Сравниваем кривые по их наибольшему значению на $\Theta$ и выбираем ту оценку, у которой максимум риска меньше:

Это осторожный подход: даже при самом неудачном $\theta$ потеряешь не больше гарантированного. В виджете пунктиры — максимумы. Красная кривая вообще плоская на уровне $\dfrac{1}{4(1+\sqrt n)^2}$, а это ниже пика синей $\dfrac{1}{4n}$. Ходжес — Леман побеждает по минимаксу при любом $n$.

Но минимакс может противоречить здравому смыслу. Представь оценку с огромным риском в узком месте около одного $\theta$ и почти нулевым везде ещё, против оценки со средним риском везде. Минимакс выберет вторую, хотя первая почти всюду лучше. Так рассуждает тот, кто в каждом прохожем видит гопника.

2. Байесовский подход: усредняем по θ

Сравниваем площади под кривыми риска, взвешенные некоторой мерой $Q$ на $\Theta$:

Если $Q$ — равномерная мера, лучшей считается оценка с меньшей площадью под графиком риска.

Подход назван в честь Томаса Байеса (1702–1761). Байесовскими в статистике называют методы, в которых априорная информация о параметре оформлена в виде распределения $Q$ на $\Theta$. Если $Q$ — вероятностная мера, на сам $\theta$ можно смотреть как на случайную величину: природа сначала разыгрывает $\theta$ по закону $Q$, а потом по нему генерирует выборку. На практике $Q$ прикидывают по частоте значений $\theta$ в прошлых экспериментах или, из равенства всех возможностей, берут равномерной.

Подвигай $n$ в виджете. При равномерном $Q$ площадь под синей параболой равна $\int_0^1 \frac{\theta(1-\theta)}{n}\,d\theta = \frac{1}{6n}$, под красной — $\frac{1}{4(1+\sqrt n)^2}$. До $n = 19$ включительно выигрывает Ходжес — Леман, начиная с $n = 20$ — частота. Разные подходы, разные победители.

3. Сужаем класс оценок

Для некоторых моделей существуют оценки с равномерно минимальным риском в заданном классе — их кривая лежит ниже кривой любой другой оценки из класса при всех $\theta$. Тогда сравнивать нечего, победитель один.

Самый популярный класс — несмещённые оценки с конечной дисперсией, а квадратичный риск там совпадает с дисперсией. Известные победители:

• в нормальной модели — $\hat\mu = \bar X$ и $\hat\sigma^2 = \dfrac{n S^2}{n-1}$;
• в схеме Бернулли — частота $\bar X$;
• на отрезке $[0, \theta]$ — подвинутый максимум $\hat\theta_3 = \dfrac{n+1}{n}\,X_{(n)}$.

Для последней из задачи 3 главы 1 получаем

За то, что убрали смещение максимума, заплатили ростом дисперсии в $\left(\frac{n+1}{n}\right)^2$ раз. Зато сравним с удвоенным средним: $\mathbf{D}\hat\theta_2 = 4\,\mathbf{D}\bar X = \dfrac{\theta^2}{3n}$, и

Уже при $n = 10$ подвинутый максимум вчетверо точнее удвоенного среднего, а при $n = 100$ — в 34 раза. Тут кривые и не пересекаются: $\theta$ — параметр масштаба, все риски имеют вид $\text{const} \cdot \theta^2$, и сравнение сводится к сравнению констант.

На данных из §1 (выборка получена при $\theta_0 = 35$): $\hat\theta_2 = 28{,}1$, $\hat\theta_3 = 33{,}1$. Подвинутый максимум ближе, а удвоенное среднее вообще легло левее $x_{(10)} = 30{,}1$.

Посмотри на это в виджете из §2. Таблица снизу — эмпирический квадратичный риск против теории. Сравни $\hat\theta_2$, $\hat\theta_3$ и $\hat\theta_5 = X_{(1)} + X_{(n)}$: все несмещённые, а риски различаются в разы (сравнение $\hat\theta_3$ и $\hat\theta_5$ — задача 7).

Смысл по-пацански: честных бригадиров (несмещённых) много, но самый собранный среди них один, и его можно назвать.

Внимание: «лучший среди несмещённых» не значит «лучший вообще». Если разрешить смещение, на отрезке $[0, \theta]$ оценка $\dfrac{n+2}{n+1}\,X_{(n)}$ имеет квадратичный риск $\dfrac{\theta^2}{(n+1)^2}$ — меньше, чем $\dfrac{\theta^2}{n(n+2)}$ у $\hat\theta_3$. Чуть-чуть смещения в обмен на заметно меньший разброс. Проверим:

Какой штраф выбрать

Во многих моделях существуют несмещённые оценки с равномерно минимальным риском для любой выпуклой функции штрафа. Но реальные, например финансовые, потери всегда ограничены: больше, чем есть в кассе, не отдашь. А ограниченная на всей прямой функция, не равная константе, не бывает выпуклой. И для ограниченных штрафов, скажем $\rho(u) = \text{const}$ при $|u| > \delta$ и $0$ иначе, несмещённых оценок с равномерно — и даже локально — минимальным риском, как правило, нет.

К счастью, при больших выборках всё упрощается. Разложим гладкий штраф в ряд Тейлора около нуля:

Из $\rho(0) = 0$ получаем $a = 0$. Из $\rho(u) \ge 0$ — $b = 0$: иначе при малых $u$ нужного знака штраф ушёл бы в минус. Остаётся $\rho(u) \approx c\,u^2$. Для состоятельной оценки при больших $n$ промахи маленькие, поэтому минимизировать $\mathbf{M}\rho(\hat\theta - \theta)$ — практически то же, что минимизировать квадратичный риск. Вот почему квадратичный риск — рабочая лошадка статистики.

Однако оценки, лучшие при квадратичном штрафе, часто слишком чувствительны к выбросам — резко выделяющимся наблюдениям. Квадрат раздувает каждый дальний промах. Эту проблему разберём в главе 8.

Проверь себя