§1. L-оценки

Рассмотрим вариационный ряд $X_{(1)} \le X_{(2)} \le \dots \le X_{(n)}$ (см. §4 гл. 4). $L$-оценками называются линейные комбинации $\sum w_iX_{(i)}$ порядковых статистик, где $w_i$ — некоторые веса. Эти оценки обобщают усечённое среднее (см. §2 гл. 8)

у которого $k$ крайним с каждой стороны наблюдениям приданы нулевые веса, а оставшимся $(n - 2k)$ центральным наблюдениям — одинаковые $w_i = 1/(n - 2k)$. (Здесь $[\cdot]$ — целая часть числа.)

Смысл по-пацански: выстраиваем пацанов по росту и раздаём каждому «голос» в зависимости от места в строю, а не от того, кто он такой. Усечённое среднее: крайним по $k$ человек с каждой стороны голоса не дают вовсе, остальные голосуют поровну.

Чтобы изучить поведение $L$-оценок при больших $n$, удобно задавать веса $w_{in}$ ($i = 1, \dots, n$; $n = 1, 2, \dots$) в виде

где $\lambda(t)$ — некоторая функция, определённая на отрезке $[0, 1]$. Например, усечённому среднему $\overline X_\alpha$ отвечает

По кирпичикам: $i/(n+1)$ — «доля пути» по вариационному ряду: у минимума она около 0, у медианы $\frac12$, у максимума около 1. Функция $\lambda$ говорит, какой вес получает наблюдение, стоящее на этой доле пути. Множитель $\frac1n$ нужен, чтобы веса в сумме давали примерно $\int_0^1\lambda(t)\,dt = 1$.

Естественно рассмотреть более гладкое распределение весов. Приведём условия, обеспечивающие асимптотическую нормальность $L$-оценок (по монографии Хьюбера «Робастность в статистике»).

Теорема 1. Пусть случайные величины $X_i$ независимы и одинаково распределены на интервале $(a, b)$, $-\infty \le a < b \le \infty$, согласно распределению $F$, у которого

1. существует положительная при $a < x < b$ плотность $p(x)$,
2. $\mathsf MX_1^2 < \infty$.

Потребуем также, чтобы выполнялось условие

3. $\lambda(t)$ — ограниченная функция, непрерывная почти всюду (относительно лебеговой меры) с $\int_0^1\lambda(t)\,dt = 1$.

Положим

где $G(t)$ — любая функция с $G'(t) = \lambda(t)/p\bigl(F^{-1}(t)\bigr)$. Тогда при условии $\sigma(F, \lambda) > 0$ для статистики

справедлива сходимость

По кирпичикам: $\mu(F, \lambda)$ — это та же $L$-оценка, но «на бесконечной выборке»: вместо $X_{(i)}$ стоит теоретическая квантиль $F^{-1}(t)$. А $\sigma^2$ — дисперсия случайной величины $G(U)$ при $U$ равномерном на $[0, 1]$. Чем меньше плотность $p$ в той области, где $\lambda$ велика, тем круче растёт $G$ и тем больше дисперсия: веса, положенные туда, где точек мало, — дорогие.

Следствие. Пусть элементы выборки $X_i$ распределены согласно закону $F(x - \theta)$, где $F$ симметрична относительно 0, а функция $\lambda$ — относительно $\frac12$. Тогда легко проверить, что $\mu(F, \lambda) = \theta$, и поэтому $\sqrt n(L_n - \theta) \xrightarrow{d} \xi \sim \mathcal N\bigl(0, \sigma^2(F, \lambda)\bigr)$.

Оптимальная весовая функция

Для заданного распределения $F$ наиболее эффективная $L$-оценка параметра сдвига $\theta$ получается путём минимизации дисперсии $\sigma^2(F, \lambda)$ по $\lambda$.

Теорема 2. Допустим, что плотность $p(x) = F'(x)$ имеет две производные $p'(x)$, $p''(x)$ почти всюду и что $p(x) \to 0$ при $x \to \pm\infty$. Положим

Тогда асимптотическая дисперсия $\sigma^2(F, \lambda)$ минимальна при $\lambda = \lambda^*$, которая пропорциональна функции $\gamma'\bigl(F^{-1}(t)\bigr)$ (см. условие 3 теоремы 1). В этом случае

обозначает информацию Фишера, введённую ранее в §3 гл. 9. Другими словами, такая $L$-оценка является асимптотически эффективной (как и оценка максимального правдоподобия).

По кирпичикам: $\gamma(x) = -(\ln p(x))'$ — это «функция вклада» из метода максимального правдоподобия: уравнение ОМП для сдвига есть $\sum\gamma(X_i - \theta) = 0$. Её производная $\gamma'$ показывает, насколько информативно наблюдение, попавшее в точку $x$. Где $\gamma'$ велика — там наблюдения ценные, им и вес побольше.

Смысл по-пацански: оптимальная $L$-оценка раздаёт голоса пропорционально тому, насколько свидетель на данном месте строя вообще что-то знает про центр. У нормального закона знают все одинаково — голоса поровну, это среднее. У тяжёлых хвостов крайние — болтуны, им голос урезают.

Нужно ли, чтобы $\lambda^*$ была неотрицательной? Для неотрицательности $\lambda^*(t)$ необходимо и достаточно, чтобы $\gamma'(x) \ge 0$ при всех $x$. Это эквивалентно выпуклости функции $-\ln p(x)$. Такие распределения называются сильно унимодальными.

Пример 1. Оптимальные веса для трёх законов

Нетрудно проверить, что для стандартного нормального закона ($F = \Phi$) функция $\gamma(x) = x$. Отсюда оптимальная $\lambda^* \equiv 1$. Соответствующая $L_n$ совпадает с ОМП $\overline X$. Информация Фишера $I(\Phi) = 1$.

В случае логистического распределения с $F(x) = 1/(1 + e^{-x})$ находим, что $\gamma(x) = 2F(x) - 1 = \operatorname{th}(x/2)$. Оптимальная $\lambda^*(t) = 6t(1 - t)$, причём $I(F) = 1/3$.

По кирпичикам: для логистического закона $p = F(1 - F)$, $p' = p(1 - 2F)$, отсюда $\gamma = 2F - 1$ и $\gamma' = 2p = 2F(1 - F)$. В точке $x = F^{-1}(t)$ это $2t(1 - t)$; нормируем к $\int_0^16t(1-t)\,dt = 1$ — получаем $6t(1 - t)$. А $I(F) = \int\gamma^2p\,dx = \int_0^1(2t - 1)^2dt = \frac13$.

Для закона Коши с плотностью $p(x) = 1/[\pi(1 + x^2)]$ получается весьма своеобразная оптимальная функция

которая отрицательна при $|t - \frac12| > \frac14$. Здесь $I(F) = \frac12$.

Смысл по-пацански: у Коши крайним наблюдениям дают отрицательный голос — их не просто не слушают, а делают наоборот. Звучит дико, но работает: далёкие точки у Коши почти ничего не знают о центре, а «вычитая» их, оценка компенсирует перекос от тех, кто стоит поближе.

В случае «наименее благоприятного распределения» Хьюбера, определяемого в примере 3 §2, оптимальной $L$-оценкой является $\alpha$-усечённое среднее $\overline X_\alpha$ ($\alpha = F(-b)$) с весовой функцией (2). (У закона Хьюбера $\gamma(x) = \psi_b(x)$ — линейна в $[-b, b]$ и постоянна снаружи, поэтому $\gamma'$ — индикатор отрезка; при $\varepsilon = 0{,}05$ получается $\alpha \approx 0{,}102$.)

Поиграй с законами и весовыми функциями: для каждого закона кнопка «Оптимальная $\lambda^*$» даёт эффективность 1, а среднее и усечённые средние — меньше.

Устойчивость

Замечание 1. Помимо эффективности, важную роль играет устойчивость оценки по отношению к выделяющимся наблюдениям («выбросам»). Если значения весовой функции $\lambda(t)$ вблизи концов отрезка $[0, 1]$ малы по сравнению со значениями в середине, то $L$-оценка относительно нечувствительна к «выбросам». Тем не менее, для того чтобы оценка имела положительную толерантность (см. §4 гл. 8), необходимо, чтобы носителем функции $\lambda(t)$ был интервал $(\alpha, 1 - \alpha)$ при некотором $0 < \alpha < \frac12$.

По кирпичикам: толерантность — доля наблюдений, которые можно утащить в бесконечность, не сломав оценку. Если $\lambda(t) \ne 0$ сколь угодно близко к концу, то и самая крайняя точка получает ненулевой вес — увези её в бесконечность, и оценка поедет следом. Поэтому оптимальная $\lambda^*$ для логистического закона ($6t(1-t)$, положительная на всём $(0, 1)$) имеет нулевую толерантность, а усечённое среднее — толерантность $\alpha$.

Смысл по-пацански: хочешь, чтобы оценку нельзя было купить одним выбросом, — не давай голоса тем, кто стоит в самом конце строя. Хоть маленький голос у крайнего — и он может утащить оценку куда угодно.

Проверь себя