§4. Относительная эффективность: сколько стоит точность

Мы уже наоценивали всякого: $X_{(n)}$, $\bar X$, $MED$. Пора навести порядок в словах и научиться сравнивать оценки при больших выборках одним числом.

Статистика и асимптотическая нормальность

Определение. Статистикой $T$ называется произвольная борелевская функция от выборки $(X_1, \dots, X_n)$.

«Борелевская» — техническое условие, чтобы $T$ была случайной величиной. На практике годится всё, что можно посчитать: непрерывные функции, арифметика, сортировка, максимум, предельные переходы.

Определение. Статистика $T = T_n$ называется асимптотически нормальной, если найдутся числовые последовательности $a_n$ и $b_n > 0$, такие что

$$\frac{T_n - a_n}{b_n} \xrightarrow{d} Z \sim N(0, 1) \quad \text{при } n \to \infty.$$

По кирпичикам: $a_n$ — где статистика «сидит», $b_n$ — какого порядка её разброс. После сдвига и растяжения получается стандартный колокол.

Пример: гипотеза случайности и инверсии

Гипотезой случайности называют предположение, что данные $(x_1, \dots, x_n)$ — реализация выборки: независимых одинаково распределённых $X_i$ с непрерывной функцией распределения. Тогда из симметрии все $n!$ вариантов взаимного порядка $X_i$ равновероятны.

Как мерить «беспорядок»? Одна из статистик — число инверсий $R_n$: пара $i < j$ образует инверсию, если $X_i > X_j$. Крайние случаи:

• $X_1 < \dots < X_n$ — инверсий нет, $R_n = 0$;
• $X_1 > \dots > X_n$ — все пары инверсии, $R_n = \frac{n(n-1)}{2}$.

И то и другое — свидетельство полного отсутствия беспорядка. Слишком малые или слишком близкие к $\frac{n(n-1)}{2}$ значения $R_n$ — повод отвергнуть гипотезу случайности. Известно, что $R_n$ асимптотически нормальна:

Среднее понятно сразу: каждая из $\frac{n(n-1)}{2}$ пар — инверсия с шансом $\frac12$. Отсюда рабочий тест по правилу трёх сигм из главы 3: если $|R_n - \mathbf{M}R_n| > 3\sqrt{\mathbf{D}R_n}$, данные вряд ли случайны.

Смысл по-пацански: если очередь у ларька выстроилась точно по росту, это не случайность — кто-то их построил. Инверсии считают, сколько раз в очереди высокий стоит перед низким.

Асимптотическая дисперсия

Для асимптотически нормальных оценок параметров в регулярных моделях (глава 9) типичный порядок разброса — $b_n = 1/\sqrt n$. Условие асимптотической нормальности тогда пишут так:

Определение. Величина $\sigma^2(\theta) > 0$ называется асимптотической дисперсией оценки $\hat\theta_n$.

Примеры у нас уже есть:

• по ЦПТ, если $0 < \mathbf{D}X_1 < \infty$, то $\sqrt n\,(\bar X - \mathbf{M}X_1) \to N(0, \mathbf{D}X_1)$ — асимптотическая дисперсия среднего равна $\mathbf{D}X_1$;
• по теореме 1 у медианы она равна $\dfrac{1}{4p^2(x_{1/2})}$;
• по теореме 2 у квантили — $\dfrac{\alpha(1-\alpha)}{p^2(x_\alpha)}$.

Важное замечание. Асимптотическая дисперсия $\sigma^2(\theta)$ может не совпадать с пределом $n\,\mathbf{D}\hat\theta_n$: из сходимости распределений не следует сходимость моментов. Пример — закон $F(x) = 1 - \dfrac{1}{\ln x}$ при $x > e$ (он был в §2 главы 4). У него $\mathbf{M}X_1 = \infty$. Более того, бесконечны матожидания всех порядковых статистик: из формулы для плотности $X_{(k)}$

получаем

(Интеграл от любой степени $1/\ln x$ расходится: логарифм растёт медленнее любой степени $x$.) Тем не менее условия теоремы 2 выполнены, и выборочная медиана асимптотически нормальна. Дисперсии нет, а асимптотическая дисперсия есть.

Относительная эффективность

Асимптотическая дисперсия описывает точность оценки по большой выборке. Отсюда естественный способ сравнения.

Определение. Относительной асимптотической эффективностью оценки $\hat\theta_1$ по отношению к $\hat\theta_2$ называется

$$e_{\hat\theta_1, \hat\theta_2} = \frac{\sigma_2^2}{\sigma_1^2}.$$

Если $e > 1$, первая оценка лучше.

Почему квадраты, а не $\sigma_2 / \sigma_1$ или $\sigma_2^4 / \sigma_1^4$? Пусть надо оценить $\theta$ с заданной точностью $\delta$, а каждое наблюдение стоит $C$ рублей. Точность оценки по $n$ наблюдениям — $\sigma/\sqrt n$. Размеры выборок, дающие нужную точность, находим из

Относительная эффективность — отношение затрат: во сколько раз больше наблюдений нужно второй оценке, чтобы догнать первую.

Смысл по-пацански: эффективность $0{,}64$ значит, что с этой оценкой тебе придётся опросить в полтора раза больше народу ($1/0{,}64 \approx 1{,}57$), чтобы знать столько же. Плохая оценка — это деньги на ветер.

Примеры:

• нормальный закон $N(\theta, 1)$: $\sigma^2_{MED} = \dfrac{1}{4p^2(\theta)} = \dfrac\pi2$, а $\sigma^2_{\bar X} = 1$. Значит, $e_{MED, \bar X} = \dfrac2\pi \approx 0{,}64$ — среднее эффективнее медианы примерно на 36 % (задача 1);
• закон Лапласа с плотностью $\tfrac12 e^{-|x - \theta|}$: $e_{MED, \bar X} = 2$, медиана вдвое эффективнее (задача 2);
• Коши: $\sigma^2_{\bar X} = \infty$, медиана бесконечно эффективнее;
• засорённый нормальный: при доле засорения около 10 % медиана догоняет среднее (задача 3).

В виджете в подписи считается $e_{MED, \bar X}$ — теория и опыт. Пройди по законам.

Проверь себя