Глава 25. Классы оценок

Пусть расцветают сто цветов.

— китайская мудрость (эпиграф Лагутина)

В главах 7–9 мы встречали целый зоопарк оценок центра симметричного распределения: среднее $\overline X$, медиану $MED$, усечённые средние, медиану средних Уолша, оценки максимального правдоподобия. Эта глава наводит в зоопарке порядок: почти все такие оценки укладываются в три больших класса.

• $L$-оценки — линейные комбинации порядковых статистик $\sum w_iX_{(i)}$: каждое наблюдение получает вес в зависимости от своего места в вариационном ряду.
• $M$-оценки — точки минимума суммы $\sum\rho(X_i - \theta)$: обобщение метода максимального правдоподобия.
• $R$-оценки — происходят из ранговых критериев: медианы полусумм $(X_{(j)} + X_{(k)})/2$ с весами.

Для каждого класса есть формула асимптотической дисперсии, и для каждого закона $F$ в каждом классе найдётся асимптотически эффективная оценка — с дисперсией, равной границе Рао — Крамера $1/I(F)$. Более того, для любой $M$-оценки найдутся асимптотически эквивалентные $L$- и $R$-оценки.

Смысл по-пацански: три бригады, три подхода. $L$ — «смотрим, кто где стоит в строю, и раздаём веса по месту». $M$ — «двигаем центр, пока сумма штрафов за отклонения не станет минимальной». $R$ — «берём все пары, считаем середины, и из них — медиану». А в итоге при правильной настройке все три бригады выходят на один и тот же лучший результат.

Последний параграф — о функции влияния Хампеля: она показывает, как сильно одна точка, брошенная в любое место, может сдвинуть оценку. Неограниченная функция влияния — приговор робастности.

В этой главе:

• весовые функции $\lambda(t)$ $L$-оценок и оптимальная $\lambda^*$ — для нормального, логистического закона и закона Коши (у Коши крайним наблюдениям даётся отрицательный вес);
• оценка Хьюбера, её минимаксное свойство и наименее благоприятное распределение; $W$-оценки Тьюки и масштаб по $MAD$;
• $R$-оценки как медианы полусумм: медиана, середина размаха, медиана Уолша и оценка с нормальными метками; почему оценка Гальтона — не $R$-оценка;
• функция влияния среднего, медианы и оценки Хьюбера; связь функции влияния с асимптотической дисперсией.

Параграфы

• §1. L-оценки — линейные комбинации порядковых статистик.
• §2. M-оценки — Хьюбер, минимакс, $W$-оценки Тьюки.
• §3. R-оценки — полусуммы, медиана Уолша, нормальные метки.
• §4. Функция влияния — как одна точка сдвигает оценку.

(Задач и контрольных вопросов к этой главе у Лагутина нет — их заменяют виджеты и «Проверь себя» в параграфах.)

Что уносим из главы

Нет оценки, лучшей для всех законов: среднее идеально для нормальных данных и бесполезно для Коши, медиана — наоборот. Робастные оценки (Хьюбер, медиана Уолша, усечённое среднее) почти нигде не лучшие, но почти нигде и не проваливаются. Выбор оценки — это выбор между эффективностью на «идеальной» модели и устойчивостью к тому, что модель окажется неточной.