§4. Функция влияния

Обозначим через $\Omega^\pm = \{F\}$ множество функций, представимых в виде $F = H_1 - H_2$, где $H_1$ и $H_2$ — некоторые ограниченные неубывающие функции. Это множество включает, в частности, произвольные функции распределения ($H_2 \equiv 0$). Мы будем рассматривать функционалы $T$, заданные на $\Omega^\pm$, т. е. отображения из $\Omega^\pm$ в $\mathbb R$.

Нас будут интересовать оценки вида $T(\hat F_n)$, где $\hat F_n(x)$ — эмпирическая функция распределения (см. §1 гл. 9). Например, для функции распределения $F$ естественными оценками математического ожидания $T_1(F) = \int x\,dF(x)$ и медианы $T_2(F) = F^{-1}(1/2)$ являются выборочное среднее $T_1(\hat F_n) = \int x\,d\hat F_n(x) = n^{-1}\sum X_i = \overline X$ и выборочная медиана $T_2(\hat F_n) = \hat F_n^{-1}(1/2) = MED$ (см. §2 гл. 7).

По кирпичикам: «оценка как функционал» — это взгляд, при котором оценка вычисляется не по списку чисел, а по распределению. Подставь в формулу истинное $F$ — получишь то, что оцениваешь; подставь эмпирическое $\hat F_n$ (по $\frac1n$ в каждой точке выборки) — получишь оценку. Так одна формула описывает и параметр, и его оценку.

Чтобы понять, насколько такие оценки устойчивы к «выбросам», Ф. Хампель предложил изучить влияние на функционал «атома» единичной массы, помещённого в точку с «большой» координатой $y$ (функция распределения $\delta_y(x) = I_{\{x\ge y\}}$). Степень реакции на подобное «возмущение» выражается характеристикой

называемой функцией влияния. Если функция $A(y)$ неограничена при $y \to \pm\infty$, то оценка быстро смещается в сторону «выброса» и, следовательно, неробастна (см. §4 гл. 8).

Смысл по-пацански: берём район и подкидываем туда одного «засланного» с ростом $y$. Совсем чуть-чуть — долю $t$ от всего населения. На сколько сдвинулась оценка, если пересчитать на единицу доли засланных? Это и есть $A(y)$. Если $A(y)$ растёт без предела — один засланный великан может утащить оценку куда угодно.

Функция влияния среднего

Вычислим $A(y)$ для определённого выше функционала $T_1$. Пусть $F_t = (1 - t)F + t\delta_y$. Тогда

Отсюда $A_1(y) = \frac d{dt}T_1(F_t) = \int x\,d\delta_y(x) - \int x\,dF(x) = y - T_1(F)$. Таким образом, математическое ожидание $T_1$ имеет неограниченную линейную функцию влияния.

Функция влияния медианы

Дифференцируя тождество $\frac12 = F_t\bigl(F_t^{-1}(\frac12)\bigr)$, нетрудно установить (проверьте!), что функцией влияния функционала $T_2$ служит $A_2(y) = \bigl[\frac12 - \delta_y(x_{1/2})\bigr]/p(x_{1/2})$, где $p(x)$ — плотность распределения $F$, $x_{1/2} = F^{-1}(\frac12)$ — медиана $F$. В частности, при $x_{1/2} = 0$ имеем $A_2(y) = [2p(0)]^{-1}\operatorname{sign}y$. Следовательно, $MED = T_2(\hat F_n)$ робастна при условии $p(x_{1/2}) > 0$.

По кирпичикам (проверяем): пусть $m_t = F_t^{-1}(\frac12)$, $m_0 = x_{1/2}$, и для определённости $y > m_0$. Тогда около $m_0$ атом ещё «правее» и $F_t(x) = (1 - t)F(x)$. Уравнение $(1 - t)F(m_t) = \frac12$; дифференцируем по $t$ в нуле: $-F(m_0) + p(m_0)\,m_t' = 0$, $m_t' = \frac{1/2}{p(m_0)}$. При $y < m_0$ атом уже «левее»: $(1 - t)F(m_t) + t = \frac12$, откуда $m_t' = \frac{1/2 - 1}{p(m_0)} = -\frac{1/2}{p(m_0)}$. Обе ветви и есть формула $\bigl[\frac12 - \delta_y(m_0)\bigr]/p(m_0)$.

Смысл по-пацански: медиане всё равно, где стоит засланный — на метр правее центра или на километр. Она замечает только, с какой стороны он встал, и сдвигается на фиксированный шажок $1/(2p(0))$. Поэтому её и не купишь одним великаном.

Функция влияния и асимптотическая дисперсия

Покажем, как функция влияния связана с асимптотической дисперсией оценки $T(\hat F_n)$. При некоторых условиях на функционал $T$ для произвольной функции $G \in \Omega^\pm$ выполняется следующее равенство, обобщающее (18):

Из него при $G = F$ вытекает, что

Поэтому в формулу (19) вместо $dG$ можно подставить $d(G - F)$.

Далее, если функция $\tilde F$ «близка» к $F$, то имеет смысл воспользоваться разложением функционала $T$ в «точке» $F$ в ряд Тейлора до члена первого порядка:

В силу теоремы Гливенко при $n \to \infty$ эмпирическая функция $\hat F_n$ стремится к $F$ с вероятностью 1. Взяв её в качестве $\tilde F$ в формуле (21) и учитывая равенство (20), получим

Применяя к правой части (22) центральную предельную теорему (П6) (с точностью до обоснования законности отбрасывания остаточного члена из (21)), выводим сходимость

Отсюда, в частности, немедленно находим асимптотическую дисперсию выборочной медианы $MED$ (см. теорему 1 гл. 7).

По кирпичикам: для медианы $A_2^2 \equiv 1/(4p^2(0))$, так что $\int A_2^2\,dF = 1/(4p^2(0))$ — та самая асимптотическая дисперсия медианы из гл. 7. Для среднего $\int(y - \mu)^2dF = \sigma^2$ — дисперсия одного наблюдения. А для $M$-оценки $A(y) = \psi(y)\big/\int\psi'\,dF$, и $\int A^2dF$ даёт ровно формулу (11) §2.

Смысл по-пацански: оценка — это почти сумма вкладов отдельных наблюдений, а вклад каждого — его функция влияния. Сумма много независимых вкладов — нормальный закон, а разброс — средний квадрат вклада. Ограничил влияние — ограничил и вклад в разброс от далёких точек.

Кривые чувствительности

На конечной выборке вместо предела (18) удобно смотреть кривую чувствительности: к фиксированной выборке из $n - 1$ точки добавляем точку $y$ и смотрим на $n\bigl[T(x_1, \dots, x_{n-1}, y) - T(x_1, \dots, x_{n-1})\bigr]$ (это (18) при $t = 1/n$ и $F = \hat F_{n-1}$). Включай и выключай оценки:

Оптимальная оценка с ограниченным влиянием

В заключение приведём результат Ф. Хампеля (1968 г.), связывающий функцию влияния и $M$-оценки: для нормального закона ($F = \Phi$) решением задачи минимизации задаваемой формулой (11) асимптотической дисперсии $\sigma^2(F, \psi)$ $M$-оценки при условии ограниченности её функции влияния $\sup|A(y)| < c$ служит оценка Хьюбера с $\psi_b(x)$, где $b$ определяется по $c$ из соотношения $c = b/(2\Phi(b) - 1)$.

По кирпичикам: функция влияния оценки Хьюбера равна $A(y) = \psi_b(y)/(2\Phi(b) - 1)$ (знаменатель — $\int\psi_b'\,d\Phi = \mathsf P(|X| < b)$). Её максимум — при $|y| \ge b$: $b/(2\Phi(b) - 1)$. Хампель доказал: если ты решил, что одна точка не может сдвигать оценку больше чем на $c$, то лучшая по дисперсии оценка — именно Хьюбер с порогом, подобранным под $c$.

Смысл по-пацански: сначала договорились о правилах: «никто не может сдвинуть центр больше, чем на $c$». А потом Хампель показал, что самый точный способ играть по этим правилам — Хьюбер. Ни больше ни меньше.

Проверь себя