§3. Методы построения интервалов: четыре рецепта

Материал этого параграфа более технический. Но он отвечает на главный практический вопрос: как построить интервал для любой модели, а не только для нормальной.

Метод 1. Центральная функция

Пусть для выборки $\mathbf X$ найдётся такая функция $g(\mathbf X, \theta)$ — её называют центральной, — что:

1. распределение $g(\mathbf X, \theta)$ не зависит от $\theta$ при всех $\theta \in \Theta$;
2. при каждом $\mathbf x \in \mathbb{R}^n$ функция $g(\mathbf x, \theta)$ непрерывна и строго убывает (возрастает) по $\theta$.

Скажем, для модели сдвига показательного закона из примера 1 можно взять $g(\mathbf X, \theta) = X_{(1)} - \theta \sim \Gamma(1, n)$. Для $X_i \sim N(\theta_1, \theta_2^2)$ из примера 4 годятся $\sqrt{n - 1}(\bar X - \theta_1)/S \sim t_{n-1}$ для сдвига и $nS^2/\theta_2^2 \sim \chi_{n-1}^2$ для масштаба.

Обозначим $p$-квантиль распределения $g(\mathbf X, \theta)$ через $x_p$. Возьмём $0 \le p_1 < p_2 \le 1$ с $p_2 - p_1 = 1 - \alpha$ и определим $T_1(\mathbf x)$ и $T_2(\mathbf x)$ как решения относительно $\theta$ уравнений

Однозначность решений гарантирует условие 2. Тогда для убывающей по $\theta$ функции $g$

Когда $p_1 = \alpha/2$, интервал называется центральным. Именно так построены интервал в примере 1 ($p_1 = 0$) и центральные интервалы для $\theta_1$ и $\theta_2$ в примере 4.

Найти центральную функцию для конкретной модели — отдельная задача, не всегда имеющая решение. Но есть класс моделей, где она всегда существует: если функция распределения $F(x, \theta)$ элементов выборки непрерывна и строго монотонна по $\theta$, то можно взять

Её непрерывность и монотонность очевидны. А по методу обратной функции (глава 4) величины $\eta_i = F(X_i, \theta)$ равномерны на $[0, 1]$, каждая $-\ln\eta_i$ показательна с параметром 1, и по лемме 1 главы 4 $g(\mathbf X, \theta) = -\sum\ln\eta_i \sim \Gamma(n, 1)$ — от $\theta$ не зависит. (Пример применения (8) — в задаче 1а.)

Смысл по-пацански: найди такую комбинацию данных и параметра, чей закон ты знаешь при любом раскладе. Отложи у этого закона центральные 95 % и «размотай» неравенство обратно до $\theta$.

Метод 2. Точечная оценка

Пусть есть точечная оценка $T(\mathbf X)$ для $\theta$ с функцией распределения $F_T(t, \theta)$, непрерывной и строго убывающей (возрастающей) по $\theta$. Возьмём $0 \le p_1 < p_2 \le 1$, $p_2 - p_1 = 1 - \alpha$. Для каждого $\theta$ определим $t_k(\theta)$ как $p_k$-квантиль распределения $F_T(t, \theta)$, $k = 1, 2$. Если $F_T$ убывает по $\theta$, обе функции $t_k(\theta)$ возрастают.

Наглядный смысл метода: сначала строят диаграмму по вертикали — для каждой абсциссы $\theta$ находят квантили $t_1(\theta)$ и $t_2(\theta)$, получая «коридор». Затем для наблюдавшейся ординаты $t = T(\mathbf x)$ «считывают» по горизонтали значения $\theta_1(t)$ и $\theta_2(t)$ — где горизонтальная прямая входит в коридор и выходит из него. Иначе говоря, концы интервала $(\theta_1, \theta_2)$ находят как решения уравнений

Почему это работает. Случайный интервал $\Delta(T(\mathbf X))$ накрывает $\theta$ тогда и только тогда, когда $T(\mathbf X) \in (t_1(\theta), t_2(\theta))$, а это событие имеет вероятность $p_2 - p_1 = 1 - \alpha$ при каждом $\theta$.

Для дискретной модели из-за ступенчатости $F_T$ удаётся добиться, вообще говоря, лишь неравенства $\mathbf{P}(t_1 < T < t_2) \ge 1 - \alpha$, а вместо уравнений (9) решают

Пример 5. Схема Бернулли. Построим интервал для неизвестной вероятности «успеха» $\theta$ по частоте $T = \bar X$. Величина $T$ принимает значения $k/n$, $k = 0, 1, \dots, n$, причём

Правая часть (11) равна $1 - F_{\eta_{(k+1)}}(\theta)$, где $\eta_{(k+1)}$ — порядковая статистика равномерной выборки объёма $n$ (утверждение 3 главы 5). При $k < n$ она имеет бета-плотность, положительную на $(0, 1)$, поэтому $F_T(k/n, \theta)$ строго убывает по $\theta$. Границы центрального интервала находятся из

Это точный интервал, его называют интервалом Клоппера — Пирсона. Раньше его значения брали из таблиц, теперь решают (12) на компьютере за доли секунды.

Пример 6. Закон Пуассона. Пусть $X_i$ распределены по Пуассону с неизвестным $\theta$, $T = \bar X$. По задаче 3 главы 10 сумма $X_1 + \dots + X_n$ распределена по Пуассону с параметром $n\theta$:

Правая часть равна $1 - F_{S_{k+1}}(\theta)$, где $S_{k+1} \sim \Gamma(k + 1, n)$ — сумма показательных (глава 5), с плотностью $n^{k+1}x^ke^{-nx}/k! > 0$. Значит, $F_T$ строго убывает по $\theta$, и границы находятся из тех же уравнений (12).

Смысл по-пацански: для каждого возможного $\theta$ заранее знаешь, где обычно бывает частота. Увидел частоту — ищешь все $\theta$, при которых она «нормальная», а не диковинная. Это и есть интервал.

Метод 3. Стабилизация асимптотической дисперсии

Пусть известна асимптотически нормальная оценка: $\sqrt n(\hat\theta_n - \theta) \xrightarrow{d} N(0, \sigma^2(\theta))$, причём $\sigma^2(\theta)$ положительна и непрерывна.

Беда в том, что разброс зависит от неизвестного $\theta$. Подберём функцию $\varphi$ так, чтобы асимптотическая дисперсия $\varphi(\hat\theta_n)$ не зависела от $\theta$. По лемме 1 главы 7 (дельта-метод) для этого нужно $\sigma(\theta)\,\varphi'(\theta) = c$:

Тогда $\sqrt n\bigl(\varphi(\hat\theta_n) - \varphi(\theta)\bigr) \to N(0, c^2)$, и, как в примере 2,

Так как $\sigma > 0$, функция $\varphi$ строго монотонна, и из (15) сразу получается асимптотический интервал для самого $\theta$.

Смысл по-пацански: если линейка тянется по-разному в разных местах, перерисуй шкалу так, чтобы растяжение стало везде одинаковым. Отмерь там, а потом переведи обратно.

Метод 4. Подстановка оценки параметра

При тех же предположениях

Первый сомножитель сходится к $N(0, 1)$. Из асимптотической нормальности $\hat\theta_n$ следует её состоятельность, а ввиду непрерывности $\sigma(\theta)$ второй сомножитель стремится к 1 по вероятности. Произведение сходится к $N(0, 1)$, откуда

Замечание 4. Используя разные асимптотически нормальные оценки, получим разные интервалы. Чтобы интервалы были наименьшей длины при заданном коэффициенте доверия, нужны оценки с наименьшей возможной асимптотической дисперсией — асимптотически эффективные. В регулярных моделях годятся ОМП (глава 9).

Бернулли: методы 3 и 4

Возьмём, как в примере 5, оценку $\bar X$ — ОМП в схеме Бернулли, $\sigma^2(\theta) = \theta(1 - \theta)$.

Метод 3. Условие (14) при $c = \tfrac12$ даёт

По (15) интервал $\arcsin\sqrt{\bar X} \pm \dfrac{x_{1-\alpha/2}}{2\sqrt n}$ накрывает $\arcsin\sqrt\theta$ с вероятностью, стремящейся к $1 - \alpha$. Применив к его концам $\varphi^{-1}(x) = \sin^2 x$, получаем асимптотический интервал для самого $\theta$.

Метод 4 приводит к интервалу с границами

Это самая популярная формула в мире — и самая коварная. Заметим, что для $\alpha = 5\,\%$, $n = 100$ и $\bar x = 0{,}03$ в качестве левой границы формально получаем отрицательную величину $-0{,}0034$. А при $\bar x = 0$ или $1$ интервал вообще вырождается в точку.

Пощупай руками

Точная вероятность накрытия как функция истинного $\theta$ — для всех трёх интервалов. «Пила» — неизбежное следствие дискретности. Точный интервал (метод 2) никогда не опускается ниже заявленного уровня, зато часто перестраховывается. Арксинус в среднем близок к уровню. Подстановка (метод 4) у краёв ($\theta$ около 0 или 1) проваливается: при $n = 30$ её покрытие местами падает до 14 %. В таблице — интервалы для конкретного наблюдения.

Проверь себя