§1. Коэффициент доверия: не точка, а вилка

Вместо того чтобы приближать неизвестный скалярный параметр $\theta$ «точечной» оценкой $\hat\theta$, можно локализовать его иначе — указать случайный интервал $(\hat\theta_1, \hat\theta_2)$, который накрывает $\theta$ с вероятностью, близкой к единице.

Определение. Пусть $\alpha \in (0, 1)$. Две статистики $\hat\theta_1$ и $\hat\theta_2$ определяют границы доверительного интервала для параметра $\theta$ с коэффициентом доверия $1 - \alpha$, если при всех $\theta \in \Theta$ для выборки $\mathbf X = (X_1, \dots, X_n)$ из закона распределения $F_\theta(x)$ справедливо неравенство

$$\mathbf{P}\bigl(\hat\theta_1(\mathbf X) < \theta < \hat\theta_2(\mathbf X)\bigr) \ge 1 - \alpha. \tag{1}$$

Часто на практике полагают $\alpha = 0{,}05$. Если вероятность в левой части (1) лишь стремится к $1 - \alpha$ при $n \to \infty$, интервал называется асимптотическим. Как правило, длина доверительного интервала растёт с увеличением коэффициента доверия $1 - \alpha$ и стремится к нулю с ростом размера выборки $n$.

По кирпичикам — что тут случайное. $\theta$ — неизвестное, но фиксированное число. Случайны концы интервала: они посчитаны по выборке. Фраза «с вероятностью 95 % интервал накрывает $\theta$» означает: если много раз повторять эксперимент и каждый раз строить интервал, то примерно 95 % интервалов накроют истину. Про конкретный уже построенный интервал вероятности нет: он либо накрыл, либо нет.

Смысл по-пацански: ты кидаешь кольцо на колышек. Колышек стоит на месте, летает кольцо. «Кольцо с вероятностью 95 % наденется» — это про твой бросок, а не про колышек. После броска кольцо или висит на колышке, или валяется рядом.

Пример: сдвиг показательного закона

Пример 1. Для модели сдвига показательного закона с плотностью $p_\theta(x) = e^{-(x - \theta)}I_{\{x \ge \theta\}}$ оценкой максимального правдоподобия, согласно примеру 6 главы 9, является $X_{(1)} = \min\{X_1, \dots, X_n\}$.

Поскольку $\theta < X_{(1)}$ всегда, можно взять $X_{(1)}$ в качестве правого конца $\hat\theta_2$. Подберём константу $c_\alpha$ так, чтобы для $\hat\theta_1 = X_{(1)} - c_\alpha$ при всех $\theta$ выполнялось тождество

Используя независимость и показательность величин $X_i - \theta$, перепишем условие (2):

Откуда длина интервала $c_\alpha = \dfrac{-\ln\alpha}{n}$. Отметим, что $c_\alpha \to \infty$ при $\alpha \to 0$ (хочешь гарантию 100 % — бери всю прямую) и $c_\alpha \to 0$ при $n \to \infty$.

При $\alpha = 0{,}05$ и $n = 10$ длина интервала $\ln 20/10 \approx 0{,}30$.

Смысл по-пацански: первый в очереди — граница, левее которой очередь не начиналась. А насколько раньше она могла начаться — прикидываем по тому, как быстро прибывает народ. Чем больше народу, тем плотнее, и тем меньше «люфт».

Пощупай руками

Режим «Сдвиг показательного»: 60 интервалов $(X_{(1)} - c_\alpha, X_{(1)})$ по 60 разным выборкам. Синие накрыли истинное $\theta = 0$, красные — нет. Доля накрытий по 4000 выборкам — в подписи. Попробуй разные уровни доверия и $n$: при 99 % интервалы длиннее и красных почти нет, при 80 % — короче, но каждый пятый мимо. Остальные режимы — для §2.

Проверь себя