§4. Робастность: за малым погнался — большое потерял

Откуда выбросы

В реальных данных доля «выбросов» — выделяющихся значений — обычно составляет от 1 % до 10 %. Причины:

• большое число неучтённых факторов (в медицине, психологии);
• сбои оборудования, скажем, скачки напряжения в электросети в экспериментальной физике;
• ошибки при вводе с клавиатуры чисел в компьютер.

Даже в астрономических таблицах встречается до 0,1 % ошибок.

Смысл по-пацански: в любой бригаде найдётся пара отмороженных. Можно делать вид, что их нет, но в общей кассе они всё равно наследят.

Найти и выкинуть? Не так просто

Казалось бы, стратегия простая: найти выбросы, исключить их, а к остальным применить эффективные параметрические методы. Конечно, среди точек на прямой «выброс» хорошо заметен. Но реальные данные, как правило, многомерные.

Представь двумерное «облако» точек, почти лежащих на прямой, и одну точку в стороне. По координате $X$ она ничем не выделяется — таких иксов полно. По координате $Y$ — тоже. А вот если подогнать под облако прямую методом наименьших квадратов (§1 главы 21), её угловой коэффициент будет существенно искажён под влиянием этой одной точки.

Бывает и хуже: даже проекции многомерных данных на всевозможные двумерные плоскости не позволяют выявить выделяющиеся наблюдения (вопрос 6). Так что исключение «многомерного выброса» или группы выбросов — весьма непростая задача. По-видимому, лучше использовать робастные методы, которые ценой небольшой, как правило, потери точности по сравнению с параметрическими процедурами автоматически уменьшают влияние выделяющихся наблюдений и не допускают существенного смещения оценок параметров модели. Для данных на картинке подошёл бы, скажем, робастный метод Тейла (§1 главы 21).

Замечание. Анализ многомерных данных часто сопряжён с большим числом подвохов, возникающих из-за так называемого «проклятия размерности». При вычислении объёма $k$-мерного шара в §4 главы 3 мы уже встречались с тем, что трёхмерная интуиция не помогает предвидеть результат. Параметрические методы, как правило, крайне чувствительны (уже при $k \approx 7$) к возмущению модели. Видимо, чтобы не ввести себя в заблуждение, стоит совместно анализировать не более четырёх-пяти столбцов таблицы данных.

Пример Тьюки: малое возмущение — большой переворот

Даже в одномерном случае точность некоторых оценок может резко упасть при незначительном утяжелении хвостов.

Пример 2. Смесь нормальных законов (Дж. Тьюки, 1960). Пусть $X_i$ имеют функцию распределения

где параметры $\mu \in \mathbb{R}$, $\sigma > 0$ и $0 \le \varepsilon \le 1$ неизвестны. Это смесь $N(\mu, \sigma^2)$ и $N(\mu, 9\sigma^2)$ с весами $1 - \varepsilon$ и $\varepsilon$ (сравни с задачей 3 главы 7). Все наблюдения имеют общее среднее $\mu$, а разброс у некоторых из них (в количестве $\approx \varepsilon n$) в 3 раза больше, чем у остальных.

Задача — оценить разброс. Сравним две оценки:

Тонкость: $R_n$ и $S_n$ оценивают разные характеристики разброса. При $\varepsilon = 0$ (точно нормальный закон) $S_n \to \sigma$, а $R_n \to \sigma\sqrt{2/\pi} \approx 0{,}798\,\sigma$. К тому же пределы зависят от $\varepsilon$: например, $S_n \to \sigma\sqrt{1 + 8\varepsilon}$. Поэтому сравнивают не дисперсии, а не зависящие от масштаба коэффициенты вариации — предел отношения

Если $\tilde e > 1$, точнее $R_n$. Таблица:

Функция очень быстро возрастает. 12-процентное преимущество $S_n$ при $\varepsilon = 0$ исчезает уже при $\varepsilon = 0{,}002$ — достаточно всего двух «плохих» наблюдений на 1000, чтобы $R_n$ стала эффективнее. А если доля наблюдений из распределения с чуть более тяжёлыми хвостами составит 5 %, то среднее абсолютное отклонение окажется точнее более чем в 2 раза!

Этот пример показывает, что малое возмущение модели может качественно изменить статистические выводы — здесь выводы о сравнительной эффективности $R_n$ и $S_n$.

Смысл по-пацански: квадрат раздувает дальние промахи. Стоит в выборке завестись паре «далёких» пацанов, и $S_n$, считающая квадраты, начинает плясать под их дудку. Модуль относится к ним спокойнее.

Асимптотическая толерантность

Робастные оценки, как правило, осуществляют компромисс между точностью и защищённостью от выбросов. Если асимптотическая дисперсия — характеристика точности, то как измерить защищённость?

Одна из простых мер — асимптотическая толерантность (от лат. tolerantia — терпение). Содержательно это наибольшая доля выбросов в выборке, которую «выдерживает» статистика, не уезжая вслед за ними на $-\infty$ или $+\infty$.

Определение. Пусть для оценки $\hat\theta(x_{(1)}, \dots, x_{(n)})$ найдётся такое целое $k$, $0 \le k < n$, что

а) если $x_{(k+2)}, \dots, x_{(n)}$ фиксированы, а $x_{(k+1)} \to -\infty$, то $\hat\theta \to -\infty$;

б) если $x_{(1)}, \dots, x_{(n-k-1)}$ фиксированы, а $x_{(n-k)} \to +\infty$, то $\hat\theta \to +\infty$.

Обозначим через $k_n^*$ наименьшее такое $k$ (тем самым $\hat\theta$ допускает по крайней мере $k_n^*$ выделяющихся наблюдений). Асимптотической толерантностью оценки называется предел $\tau_{\hat\theta} = \lim\limits_{n\to\infty} k_n^*/n$, если он существует.

По кирпичикам: сколько крайних точек можно утащить в бесконечность, пока оценка ещё стоит на месте. Толерантность зависит только от того, как устроена формула оценки, и не связана с законом распределения выборки (в отличие от эффективности).

Очевидно:

• $\tau_{\bar X} = 0$ — достаточно одного выброса;
• $\tau_{\bar X_\alpha} = \alpha$ — выдерживает столько, сколько отрезает;
• $\tau_{MED} = \tfrac12$ — максимум возможного;
• $\tau_W = 1 - \sqrt2/2 \approx 0{,}293$ (задача 4).

Проверь в виджете: из 20 нормальных точек подменяй $k$ штук выбросами и тяни выброс вверх. $\bar X$ уезжает сразу, $\bar X_{1/8}$ (отрезает по 2 с каждой стороны) — с третьего выброса, $W$ — с шестого (30 %), медиана — только когда выбросов половина.

Итог главы:

Медиана на законах с провалом плотности в центре может проиграть сколько угодно. Если же плотность максимальна в центре, медиана теряет не больше двух третей: худший случай $e = 1/3$ на равномерном законе (задача 6).

Проверь себя