§1. Классификация методов статистики: три подхода к делу

По одному из подходов статистические методы условно делят на три класса: параметрические, робастные и непараметрические. Разница — в том, насколько сильно метод верит в модель.

Параметрические методы

Они, как правило, обладают максимальной эффективностью в рамках заданной модели $F_\theta(x)$, $\theta \in \Theta \subseteq \mathbb{R}^m$. Модель — это $m$-параметрическая кривая в пространстве всех функций распределения: меняешь $m$ чисел и бегаешь по ней.

Пример — сдвиг $\mu$ нормального закона $N(\mu, \sigma^2)$. Тут $m = 2$, $\theta = (\mu, \sigma)$, $\Theta = \mathbb{R} \times (0, \infty)$, а $\bar X$ — эффективная оценка $\mu$ (пример 4 главы 9). Однако $\bar X$ весьма чувствительна к утяжелению «хвостов» распределения, из-за которого в выборке появляются выделяющиеся наблюдения — «выбросы».

Смысл по-пацански: параметрический метод — снайпер, пристрелянный под конкретную винтовку. Пока винтовка та самая, бьёт в яблочко. Дай другую — мажет мимо мишени.

Робастные методы

Это оценки, которые обладают высокой эффективностью для данной параметрической модели и вдобавок не боятся небольших отклонений от неё — достаточно точны в некоторой окрестности $m$-параметрической кривой. Подробнее — в §4.

Смысл по-пацански: боец, который неплохо стреляет из любого ствола, похожего на штатный. Не рекордсмен, зато не подведёт.

Непараметрические методы

Они успешно работают на целом классе законов распределения, например на множестве $\Omega_c$ всех непрерывных функций распределения. Им посвящена часть III книги.

Смысл по-пацански: стреляет из чего угодно, но стрелок осторожный: на каждой конкретной винтовке чуть хуже специалиста.

Класс симметричных законов

В этой главе нас интересует поведение оценок параметра сдвига на классе $\Omega_s$ симметричных гладких распределений.

Определение. Функция распределения $F$ принадлежит классу $\Omega_s$, если существует такое $c$, $0 < c \le +\infty$, что $F(-c) = 0$, $F(c) = 1$, и $F(x)$ на $(-c, c)$ имеет чётную, непрерывную и положительную плотность $p(x)$.

По кирпичикам:

• закон живёт на интервале $(-c, c)$ (может быть, на всей прямой при $c = \infty$);
• плотность симметрична относительно нуля (чётная);
• плотность нигде внутри не обнуляется — без «дыр» в носителе.

Например, закон «Дырка в центре» из главы 7 (плотность $\tilde p$ с нулём на $[-a, a]$) в класс $\Omega_s$ не входит: его носитель — множество, где плотность положительна, — не интервал.

Модель сдвига — это $F(x - \theta)$ с $F \in \Omega_s$: сам закон неизвестен, известно только, что он симметричный и гладкий. Задача — оценить центр $\theta$.

Откуда берётся симметрия

Условие симметрии может показаться искусственным и редко выполняющимся в точности. Но бывают задачи, где оно возникает само собой.

Пример 1. Контроль и обработка. Есть два ряда наблюдений: $X_1, \dots, X_n$ — контрольная выборка и $Y_1, \dots, Y_n$ — обработка. Например, размеры растений на двух грядках, причём на второй применялось удобрение, а на первой нет. Нас интересует, есть ли эффект — значимое увеличение размера от удобрения.

Модель: $X_i = \mu + \varepsilon_i$, $Y_i = \mu + \theta + \varepsilon'_i$. Здесь $\mu$ — средний размер растения, $\theta$ — прибавка от удобрения, а $\varepsilon_i$, $\varepsilon'_i$ — случайные величины, включающие все неучтённые факторы: солнце, полив, качество семян. Пусть $\mathbf{M}\varepsilon_i = \mathbf{M}\varepsilon'_i = 0$, все $\varepsilon_i$, $\varepsilon'_i$ независимы и одинаково распределены с непрерывной ограниченной плотностью на своём носителе $(a, b)$.

Образуем разности:

Плотность $\delta_i$ находится по формуле свёртки, и из неё видно, что она чётная: $\varepsilon'_i - \varepsilon_i$ и $\varepsilon_i - \varepsilon'_i$ распределены одинаково, ведь $\varepsilon$ и $\varepsilon'$ — копии друг друга. Плотность ещё и непрерывная и ограниченная. Значит, $F_\delta \in \Omega_s$ — даже если сами $\varepsilon_i$ несимметричны.

Носитель $\delta_i$ — интервал $(-c, c)$ с $c = b - a$ (вопрос 1). А если отказаться от того, что носитель $\varepsilon_i$ — интервал, то утверждение может сломаться (вопрос 2).

Так мы пришли к модели сдвига симметричного распределения. Как проверить гипотезу $H\colon \theta > 0$ и оценить $\theta$, если она подтвердилась? Проверке гипотез посвящена часть III книги. Сейчас разберём две оценки для параметра сдвига $F \in \Omega_s$ — с точки зрения эффективности и робастности.

Смысл по-пацански: сравниваешь не грядку с грядкой, а каждую пару растений «с удобрением — без». Случайный разброс одной пары гасит разброс другой, и всё, что остаётся несимметричным, — это и есть эффект удобрения.

Проверим, что разность двух копий кривого закона симметрична. Возьмём показательный шум — у него длинный правый хвост — и посчитаем коэффициент асимметрии:

Проверь себя