§2. Усечённое среднее: выкинь крайних и усредни

На соревнованиях по некоторым видам спорта — прыжкам в воду, гимнастике — из оценок судей отбрасывают наименьшую и наибольшую, а остальные усредняют. Так спасаются от судьи, который «засуживает» или «тащит» своего. Это и есть усечённое среднее.

Определение. Пусть $0 < \alpha < \tfrac12$, $k = [\alpha n]$, где $[\cdot]$ — целая часть, $n$ — объём выборки. Усечённым средним порядка $\alpha$ называется

$$\bar X_\alpha = \frac{1}{n - 2k}\bigl(X_{(k+1)} + \dots + X_{(n-k)}\bigr),$$

где $X_{(1)} \le \dots \le X_{(n)}$ — вариационный ряд.

По кирпичикам: отрезаем по $k$ точек с каждого края вариационного ряда (всего долю $2\alpha$) и усредняем оставшиеся $n - 2k$.

Предельные случаи: $\alpha = 0$ — ничего не отрезаем, получаем $\bar X$; $\alpha \to \tfrac12$ — остаётся одна-две средние точки, получаем $MED$.

Смысл по-пацански: самый щедрый и самый жадный в бригаде всегда врут о своих доходах. Выкинь обоих и посчитай средний доход остальных — получится честнее.

Компромисс

$\bar X$ достаточно эффективна на распределениях, близких к нормальному, но слишком чувствительна к выбросам. С другой стороны, на нормальном законе $MED$ проигрывает $\bar X$ в эффективности 36 % (задача 1 главы 7), но весьма устойчива: даже если «выбросами» окажутся почти половина $x_i$, она не сместится в их сторону.

Изменяя $\alpha$ от 0 до $\tfrac12$, получаем компромиссные оценки $\bar X_\alpha$. Наибольшая доля выбросов, которую игнорирует $\bar X_\alpha$ (так называемая толерантность, §4), определяется выбором $\alpha$. А как ведёт себя асимптотическая дисперсия при изменении $\alpha$?

Теорема об асимптотической нормальности

Теорема 1. Пусть элементы выборки $X_i$ распределены по закону $F(x - \theta)$, где $F \in \Omega_s$. Тогда для $0 < \alpha < \tfrac12$

$$\sqrt n\,(\bar X_\alpha - \theta) \xrightarrow{d} \xi \sim N(0, \sigma^2_\alpha) \quad \text{при } n \to \infty,$$

где

$$\sigma^2_\alpha = \frac{2}{(1 - 2\alpha)^2}\left[\int_0^{x_{1-\alpha}} t^2 p(t)\,dt + \alpha\,x^2_{1-\alpha}\right].$$

Здесь $p(t)$ — плотность закона $F$, а $x_{1-\alpha}$ — его $(1 - \alpha)$-квантиль (единственная, ведь плотность положительна).

По кирпичикам — откуда эта формула:

• $\int_0^{x_{1-\alpha}} t^2 p(t)\,dt$ — вклад «середины», которую мы оставили (половина, отсюда множитель 2 снаружи);
• $\alpha\,x^2_{1-\alpha}$ — отрезанные хвосты не исчезают бесследно: их место как бы занимают точки на границе отреза $\pm x_{1-\alpha}$. Это тот же эффект, что у медианы: важно не где точка, а по какую сторону границы она легла;
• $(1 - 2\alpha)^2$ в знаменателе — мы усредняем только долю $1 - 2\alpha$ точек.

Если хвосты тяжёлые, отрезание убирает огромный вклад $\int t^2 p$ и заменяет его скромным $\alpha x^2_{1-\alpha}$ — дисперсия падает. Если хвосты лёгкие (равномерный закон), отрезать нечего, а точки выбрасываются зря — дисперсия растёт.

Сколько теряем на нормальном законе

Для нормальной модели сдвига ($F = \Phi$) относительная эффективность $e_{\bar X_\alpha, \bar X} = 1/\sigma^2_\alpha$ убывает с ростом $\alpha$:

У Лагутина в этой таблице для $\alpha = 1/20$ и $1/8$ стоят 0,99 и 0,94. Мы пересчитали по формуле теоремы 1 численно: точные значения 0,974 и 0,926. Остальные числа совпадают.

При $\alpha = 1/8$ — защите от 12,5 % «загрязнения» выборки — потеря эффективности около 7 %. Недорогая страховка.

Последний столбец — это $2/\pi$, эффективность медианы (вопрос 3).

Пощупай руками

Красная линия — $\sigma^2_\alpha$ по теореме 1, зелёные точки — опыт. Пунктиры — уровни $\bar X$ (слева) и $MED$ (справа). Пощёлкай законы:

• нормальный — чем больше режем, тем хуже, но медленно;
• Лаплас — кривая монотонно падает, медиана лучше любого $\bar X_\alpha$ (задача 2);
• засорённый — минимум внутри, отрезать немного — выгодно;
• Коши — у $\bar X$ дисперсия бесконечна, а лучшее $\alpha \approx 0{,}38$, чуть лучше медианы;
• равномерный — отрезать вредно, хвостов нет.

А на всём классе?

Варианты поведения $\sigma^2_\alpha$ для разных законов — в задаче 2. Что можно сказать об относительной эффективности $\bar X_\alpha$ и $\bar X$ сразу на всём классе $\Omega_s$?

Теорема 2. Для всех распределений $F \in \Omega_s$ справедливы неравенства

$$(1 - 2\alpha)^2 \le e_{\bar X_\alpha, \bar X}(F) \le \infty.$$

Доказательство. Первое неравенство вытекает из оценки половины дисперсии. Разобьём интеграл в точке $x_{1-\alpha}$ и во втором куске заменим $t^2$ на меньшее $x^2_{1-\alpha}$:

Значит, $e = \mathbf{D}X_1 / \sigma^2_\alpha \ge (1 - 2\alpha)^2$. Бесконечная верхняя граница достигается на законах с бесконечным вторым моментом, например на законе Коши. $\blacksquare$

Нижняя граница точная: её можно сколь угодно приблизить последовательностью законов, произвольных внутри $[x_\alpha, x_{1-\alpha}]$, но вероятностная масса которых вне этого отрезка всё сильнее прижимается к его концам. Тогда неравенство $t^2 \ge x^2_{1-\alpha}$ в доказательстве почти обращается в равенство.

Таблица нижней границы:

При $\alpha = 1/8$ потеря эффективности может составить 44 % — сравни с 7 % на нормальном законе. Это слишком много. На всём классе $\Omega_s$ усечённое среднее не даёт удовлетворительного компромисса между точностью и робастностью. Следующая оценка справляется с этим существенно лучше.

Смысл по-пацански: выкидывать крайних помогает, когда крайние — вруны. Но если крайние — честные ребята, которые просто живут далеко, их выкидывание — потеря информации. И на неудачном районе можно потерять почти половину.

Проверим кодом на судьях. Семь честных судей ставят оценку $8{,}0 \pm 0{,}3$, а один «свой» всегда даёт на 2 балла больше:

Проверь себя