§3. Выборочные квантили: медиана, только не посередине

Медиана делит закон пополам. Но часто интересно другое деление: ниже какого уровня лежат 10 % самых бедных, выше какого — 5 % самых жирных выигрышей. Это квантили.

Определение

Определение. Пусть $\alpha \in (0, 1)$. Для непрерывной функции распределения $F$ теоретической $\alpha$-квантилью $x_\alpha$ называется решение уравнения $F(x) = \alpha$.

Медиана — частный случай: $x_{1/2}$. Как и у медианы, решение может быть не единственным, если $F$ стоит горизонтально на уровне $\alpha$.

Оценивать $x_\alpha$ естественно порядковой статистикой с тем же «процентом» слева:

где $[\cdot]$ — целая часть числа. Это выборочная $\alpha$-квантиль: стоит в вариационном ряду так, что примерно доля $\alpha$ точек левее неё.

Смысл по-пацански: выстроили район по толщине кошелька и ткнули в того, кто стоит на 10 % от начала строя. Его кошелёк — оценка «порога бедности» для 10 % самых бедных.

Теорема о квантилях

Теорема 2. Пусть элементы выборки имеют плотность $p(x)$, причём $p(x_\alpha) > 0$ для заданного $\alpha \in (0, 1)$. Тогда при $n \to \infty$

$$\sqrt n\,\bigl(X_{([\alpha n]+1)} - x_\alpha\bigr) \xrightarrow{d} \xi \sim N\!\left(0,\ \frac{\alpha(1-\alpha)}{p^2(x_\alpha)}\right).$$

При $\alpha = \tfrac12$ числитель $\alpha(1 - \alpha) = \tfrac14$ — и получаем теорему 1 о медиане.

По кирпичикам о дисперсии:

• $\alpha(1 - \alpha)$ — та же формула, что дисперсия одного испытания Бернулли. Неспроста: «точка левее $x_\alpha$» — это и есть успех с вероятностью $\alpha$;
• $p^2(x_\alpha)$ в знаменателе — снова «где гуще, там точнее». В хвостах закона плотность маленькая, поэтому крайние квантили оцениваются хуже середины.

Покрути $\alpha$ в виджете. У нормального закона при $\alpha = 0{,}05$ асимптотическая дисперсия около $4{,}5$ — почти втрое больше, чем у медианы. У Коши хвосты толстые, и крайние квантили там совсем плохие.

Лемма о гладкой функции (дельта-метод)

Для доказательства нам понадобится инструмент, полезный сам по себе: что будет с асимптотически нормальной оценкой, если пропустить её через гладкую функцию.

Лемма 1. Пусть $\varphi(\theta)$ — дифференцируемая функция, причём $\varphi'(\theta) \ne 0$. Если $\sqrt n\,(\hat\theta_n - \theta) \xrightarrow{d} \xi \sim N(0, \sigma^2)$ при $n \to \infty$, то

$$\sqrt n\,\bigl[\varphi(\hat\theta_n) - \varphi(\theta)\bigr] \xrightarrow{d} \varphi'(\theta)\,\xi \sim N\bigl(0,\ \sigma^2[\varphi'(\theta)]^2\bigr).$$

Пояснение. При больших $n$ закон оценки $\hat\theta_n$ почти нормален и сосредоточен около $\theta$ на расстоянии порядка $1/\sqrt n$. На таком маленьком куске гладкая $\varphi$ — практически прямая: растяжение с коэффициентом $\varphi'(\theta)$, наклоном касательной. Прямая не портит нормальность, только растягивает: стандартное отклонение умножается на $|\varphi'(\theta)|$, дисперсия — на $[\varphi'(\theta)]^2$.

Доказательство. Разложим $\varphi$ около $\theta$ по Тейлору:

где остаток $|\zeta_n| < \varepsilon$, как только $|\hat\theta_n - \theta| < \delta(\varepsilon)$. Оценка состоятельна (вопрос 1), поэтому $\mathbf{P}(|\zeta_n| < \varepsilon) \ge \mathbf{P}(|\hat\theta_n - \theta| < \delta) \to 1$, то есть $\zeta_n \xrightarrow{\mathbf{P}} 0$. Тогда

Произведение величины, сходящейся по распределению, и величины, сходящейся по вероятности к константе, сходится к произведению. $\blacksquare$

Смысл по-пацански: если ты знаешь вес мешка картошки с точностью $\pm 1$ кг, а цена — 50 рублей за кило, то цену мешка знаешь с точностью $\pm 50$ рублей. Нелинейная цена (скидка за опт) на маленьком куске — та же прямая, только наклон бери в нужной точке.

Проверим лемму кодом: $\hat\theta = \bar X$ для показательного закона и $\varphi(x) = 1/x$.

Доказательство теоремы 2

Шаг 1. Сначала для равномерной выборки. Пусть $\eta_1, \dots, \eta_n$ равномерны на $[0, 1]$. По лемме 3 главы 4 порядковая статистика

где $\tau_i$ — независимые показательные величины с параметром 1 (мы получили то же самое в задаче 4 главы 5).

Шаг 2. Простые преобразования. Распишем

где

Проверить это — просто раскрыть скобки. Смысл: $Y_n$ и $Z_n$ — нормированные суммы показательных величин, как в ЦПТ (у каждой $\tau$ среднее 1 и дисперсия 1).

Шаг 3. Пределы кусочков.

• По закону больших чисел $S_{n+1}/(n+1) \to 1$, поэтому $n/S_{n+1} \xrightarrow{\mathbf{P}} 1$.
• Положим $k = [\alpha n] + 1$. Тогда $b_n \to (1 - \alpha)\sqrt\alpha$, $c_n \to \alpha\sqrt{1 - \alpha}$, $d_n \to 0$ (числитель $k - \alpha n$ ограничен единицей).
• По ЦПТ $Y_n$ и $Z_n$ сходятся к $N(0, 1)$. Они независимы: зависят от разных наборов $\tau$ — $(\tau_1, \dots, \tau_k)$ и $(\tau_{k+1}, \dots, \tau_{n+1})$.

Значит, $\xi_n = b_n Y_n \to \xi \sim N(0, (1-\alpha)^2\alpha)$, $\zeta_n = c_n Z_n \to \zeta \sim N(0, \alpha^2(1 - \alpha))$, и (через характеристические функции, которые для независимых перемножаются) пара $(\xi_n, \zeta_n)$ сходится к паре независимых $(\xi, \zeta)$.

Шаг 4. Сборка. Разность независимых нормальных — нормальная, с суммой дисперсий:

Итак, для равномерной выборки $\sqrt n\,(\eta_{([\alpha n]+1)} - \alpha) \xrightarrow{d} N(0, \alpha(1 - \alpha))$. У равномерного закона $p \equiv 1$ и $x_\alpha = \alpha$ — теорема для него доказана.

Шаг 5. Общий закон. Для выборки из $F$ с плотностью $p$ по методу обратной функции (§1 главы 4) $X_{(k)} \sim F^{-1}(\eta_{(k)})$ — монотонная функция порядка не ломает. Производная обратной функции

Применяем лемму 1 с $\varphi = F^{-1}$: дисперсия умножается на $\dfrac{1}{p^2(x_\alpha)}$. $\blacksquare$

Смысл по-пацански: всю работу делает равномерный закон и ЦПТ для сумм показательных «зазоров» между точками. Остальное — пропустить ответ через мясорубку $F^{-1}$, которая около $x_\alpha$ растягивает картинку в $1/p(x_\alpha)$ раз.

Проверь себя