§2. Интервалы в нормальной модели: две сигмы, хи-квадрат и Стьюдент

Разброс известен: правило двух сигм

Пример 2. Допустим, что элементы выборки $X_i$ распределены по закону $N(\theta, \sigma^2)$, причём масштаб $\sigma$ известен, а сдвиг $\theta$ — нет. Эту модель часто применяют к данным, полученным при независимых измерениях величины $\theta$ прибором (или методом) с известной средней погрешностью — стандартной ошибкой $\sigma$.

Пусть $\Phi(x)$ — функция распределения $N(0, 1)$, а $x_\alpha$ — её $\alpha$-квантиль (решение $\Phi(x_\alpha) = \alpha$, глава 7). Некоторые значения $x_{1-\alpha/2}$:

У Лагутина в последнем столбце стоит 4,26 — это $x_{1-\alpha}$, а не $x_{1-\alpha/2}$; по формуле в заголовке столбца правильное значение 4,42. Остальные совпадают.

По примеру 4 главы 9 эффективная оценка $\theta$ — это $\bar X$, причём $\bar X \sim N(\theta, \sigma^2/n)$. Значит, $\sqrt n(\bar X - \theta)/\sigma \sim N(0, 1)$, и в качестве границ интервала с коэффициентом доверия $1 - \alpha$ можно взять $\hat\theta_1 = \bar X - \sigma x_{1-\alpha/2}/\sqrt n$ и $\hat\theta_2 = \bar X - \sigma x_{\alpha/2}/\sqrt n$:

В силу чётности плотности $N(0, 1)$ верно $x_{\alpha/2} = -x_{1-\alpha/2}$. Поэтому с вероятностью 0,95 истинное значение сдвига лежит в интервале

— это правило двух сигм.

Смысл по-пацански: среднее по $n$ замерам гуляет вокруг истины на $\sigma/\sqrt n$. Отступи от него на две такие «сигмы» в обе стороны — и в 95 % случаев истина внутри.

Замечание 1. В теории измерений обычно предполагают, что $X_i = \theta + \varepsilon_i$, где ошибки $\varepsilon_i$ — независимые одинаково распределённые величины (не обязательно нормальные) с $\mathbf{M}\varepsilon_i = 0$ и $\mathbf{D}\varepsilon_i = \sigma^2 < \infty$. По ЦПТ $\sqrt n(\bar X - \theta)/\sigma \to N(0, 1)$, и $\bar X \pm 1{,}96\,\sigma/\sqrt n$ — асимптотический 95-процентный интервал. Если $\sigma$ неизвестно, на практике его заменяют состоятельной оценкой $\hat\sigma = S$, получая приближённый интервал $\bar X \pm 2S/\sqrt n$.

Однако нередко на самом деле $X_i = \theta + \Delta + \varepsilon_i$, где $\Delta$ — систематическая ошибка измерения. Оценивать возможное отклонение $\bar X$ от $\theta$ лишь по разбросу наблюдений вокруг $\bar X$ тогда, вообще говоря, ошибочно: $\Delta$ в разбросе не видна. Другие причины неверных заключений — зависимость наблюдений, которой исследователь не предполагал (глава 15), или нарушение однородности данных при слишком большом их количестве.

Ещё Лаплас, определив отношение массы Юпитера к массе Солнца, предлагал пари, что ошибка не превышает 1 % (шанс проиграть — ничтожно мал). Современное значение отличается от его результата на 2 %. Вот цена систематики.

Хи-квадрат: интервал для масштаба

Пример 3. Пусть $X_i \sim N(\mu, \theta^2)$, причём сдвиг $\mu$ известен, а масштаб $\theta$ — нет. Такую модель используют для определения средней точности прибора (или метода) по многократным измерениям эталона. Чтобы построить интервал для $\theta$, потребуется новый закон.

Определение. Пусть $Z_1, \dots, Z_k$ независимы и распределены по закону $N(0, 1)$. Распределение величины $R_k^2 = Z_1^2 + \dots + Z_k^2$ называют распределением хи-квадрат с $k$ степенями свободы (кратко: $R_k^2 \sim \chi_k^2$).

Каждое слагаемое $Z_i^2$ имеет гамма-распределение с параметрами $\alpha = \lambda = \tfrac12$ (вопрос 2). Отсюда по лемме 1 главы 4 $R_k^2 \sim \Gamma(k/2, 1/2)$, и плотность закона хи-квадрат

Свойства:

• при $k > 1$ плотность имеет единственный максимум в точке $k - 2$; закон $\chi_1^2$ — пример распределения с неограниченной плотностью;
• среднее $\mathbf{M}R_k^2 = k$ (вопрос 3) — правее точки максимума: правый хвост тяжелее левого;
• дисперсия $\mathbf{D}R_k^2 = 2k$;
• по ЦПТ $(R_k^2 - k)/\sqrt{2k} \to N(0, 1)$; нормальное приближение довольно точное уже при $k > 30$.

Перейдём к интервалу. Введём $D_n = \sum_{i=1}^n (X_i - \mu)^2$. Величина $R_n^2 = D_n/\theta^2 = \sum [(X_i - \mu)/\theta]^2$ распределена по закону $\chi_n^2$. Обозначим $p$-квантиль этого закона через $x_p$. Тогда для $\hat\theta_1 = \sqrt{D_n/x_{1-\alpha/2}}$ и $\hat\theta_2 = \sqrt{D_n/x_{\alpha/2}}$ при всех $\theta > 0$

Интервал несимметричный — из-за несимметричности хи-квадрата.

Стьюдент: сдвиг при неизвестном разбросе

Пример 4. Пусть $X_i \sim N(\theta_1, \theta_2^2)$, где оба параметра неизвестны. Понадобится ещё один закон.

Определение. Пусть $Z \sim N(0, 1)$ и $R_k^2 \sim \chi_k^2$ независимы. Распределение величины $T_k = Z/\sqrt{R_k^2/k}$ называют распределением Стьюдента с $k$ степенями свободы (кратко: $T_k \sim t_k$).

При каждом $k$ величина $T_k$ имеет чётную плотность

В частности, при $k = 1$ получаем закон Коши $p_{T_1}(x) = 1/[\pi(1 + x^2)]$ (глава 7). С ростом $k$ хвосты $t_k$ становятся «легче», и закон стремится к $N(0, 1)$ (вопрос 4). Матожидание $T_k$ не существует при $k = 1$ и равно 0 при $k > 1$. Дисперсия бесконечна при $k = 2$ и равна $k/(k - 2)$ при $k > 2$.

Теорема 1. Для нормальной выборки $X_i \sim N(\theta_1, \theta_2^2)$ выборочное среднее $\bar X = \frac1n\sum X_i$ и выборочная дисперсия $S^2 = \frac1n\sum (X_i - \bar X)^2$ независимы, причём $nS^2/\theta_2^2 \sim \chi_{n-1}^2$, а $\sqrt{n - 1}(\bar X - \theta_1)/S \sim t_{n-1}$.

Независимость $\bar X$ и $S^2$ — особое свойство нормального закона. Оказывается, из неё при $n \ge 2$ следует нормальность (Р. Гири, 1936). Для выполнения более слабого условия — нулевой корреляции $\bar X$ и $S^2$ — достаточно, чтобы закон был симметричен (и коэффициент корреляции существовал).

Лемма 1. Пусть $(n \times n)$-матрица $C$ ортогональна ($C^{-1} = C^T$), а случайный вектор $\mathbf Y = (Y_1, \dots, Y_n)$ имеет независимые $N(0, 1)$ компоненты. Тогда вектор $\mathbf Z = C\mathbf Y$ распределён так же, как $\mathbf Y$.

Доказательство леммы. При ортогональном преобразовании $\mathbf z = C\mathbf y$ длины векторов не меняются:

Обратная матрица $C^{-1} = C^T$ тоже ортогональна, и $|\det C^T| = 1$ (вопрос 5). Плотность $p_{\mathbf Y}(\mathbf y) = (2\pi)^{-n/2}e^{-|\mathbf y|^2/2}$ зависит только от длины. По формуле преобразования плотности

Смысл по-пацански: стандартное нормальное облако — идеальный шар. Как его ни поверни, оно то же самое.

Доказательство теоремы. Возьмём ортогональную матрицу $C$ с последней строкой $(1/\sqrt n, \dots, 1/\sqrt n)$. Остальные строки не важны, лишь бы $C$ была ортогональна (можно дополнить последнюю строку до ортонормированного базиса процессом Грама — Шмидта). Годится, например, матрица Хелмерта:

В качестве $\mathbf Y$ возьмём вектор с компонентами $Y_i = (X_i - \theta_1)/\theta_2$ и рассмотрим $\mathbf Z = C\mathbf Y$. Последняя строка даёт

С другой стороны, по (4) $\sum Z_i^2 = \sum Y_i^2$. Отсюда, используя формулу «среднее квадрата минус квадрат среднего» (глава 6),

По лемме 1 все $Z_i$ — независимые $N(0, 1)$, поэтому $nS^2/\theta_2^2 \sim \chi_{n-1}^2$. Из (5) $\sqrt n(\bar X - \theta_1)/\theta_2 = Z_n \sim N(0, 1)$. Так как $\bar X$ — функция от $Z_n$, а $S$ — от $Z_1, \dots, Z_{n-1}$, они независимы. Наконец, величина

распределена по закону $t_{n-1}$ по определению. $\blacksquare$

Смысл по-пацански: ортогональный поворот отделяет «где облако стоит» (одна координата — среднее) от «как оно разбросано» (остальные $n - 1$ координат). Разброс считается по $n - 1$ независимым кускам — отсюда $n - 1$ степеней свободы.

Проверим кодом, что матрица Хелмерта ортогональна, а $\bar X$ и $S^2$ некоррелированы для нормальной выборки — и сильно коррелированы для показательной:

Интервалы для обоих параметров

На основе теоремы 1 построим интервалы для параметров закона $N(\theta_1, \theta_2^2)$. Для сдвига $\theta_1$:

где $y_p$ — $p$-квантиль распределения Стьюдента $t_{n-1}$; по симметрии $y_{\alpha/2} = -y_{1-\alpha/2}$. Для масштаба $\theta_2$:

где $z_p$ — $p$-квантиль закона $\chi_{n-1}^2$.

Замечание 2. Было бы неверным считать, что двумерный параметр $(\theta_1, \theta_2)$ с вероятностью $(1 - \alpha)^2$ накрывается прямоугольником — произведением этих двух интервалов. Величины $T_{n-1}$ и $S^2$, на основании которых строились интервалы, зависимы (обе — функции от $S$). Чтобы построить доверительную область для вектора, используем независимость $\bar X$ и $S^2$. Обозначим $p$-квантиль $N(0, 1)$ через $x_p$, $\chi_{n-1}^2$ — через $z_p$. Тогда

Соответствующее (случайное) множество на плоскости $(\theta_1, \theta_2)$ — трапеция, отсекаемая от угла $\theta_2 = \sqrt n|\bar X - \theta_1|/x_{1-\alpha/2}$ двумя горизонтальными прямыми $\theta_2 = \sqrt{nS^2/z_{1-\alpha/2}}$ и $\theta_2 = \sqrt{nS^2/z_{\alpha/2}}$.

Замечание 3. Величину (6) можно записать как

По сравнению с $\sqrt n(\bar X - \theta_1)/\theta_2 \sim N(0, 1)$ различие лишь в замене неизвестной дисперсии $\theta_2^2$ на её несмещённую и состоятельную оценку (глава 6). На то, что при такой подстановке закон $N(0, 1)$ меняется на $t_{n-1}$, впервые обратил внимание в 1908 году Уильям Госсет, работавший на пивоваренном заводе Гиннесса в Дублине. Условия контракта не позволяли ему публиковать результаты под своим именем, и он выбрал псевдоним «Student». С тех пор найденное им распределение называется законом Стьюдента.

Сравним квантили $x_{1-\alpha/2}$ закона $N(0, 1)$ с квантилями $y_{1-\alpha/2}$ распределения $t_{n-1}$ при $n = 10$:

Для выборки размера 10 длина интервала для $\theta_1$ с коэффициентом доверия 95 % при замене неизвестной дисперсии на её оценку возрастает примерно на $2{,}26/1{,}96 - 1 \approx 15\,\%$. А при высоких уровнях доверия разница огромная: хвосты Стьюдента тяжелее.

Смысл по-пацански: если разброс знаешь заранее — бери нормальную квантиль. Если разброс сам оцениваешь по тем же данным, ты в нём тоже ошибаешься, и вилку надо раздвинуть шире. Стьюдент говорит, насколько.

Пощупай руками

Режимы «σ известно», «σ неизвестно» и «σ → S, но квантиль Φ» — интервалы для сдвига. Поставь $n = 5$: со Стьюдентом накрытий честные 95 %, а подстановка $S$ в формулу с 1,96 даёт около 87–88 %. При $n = 30$ разница почти пропадает. Режим «Масштаб θ (χ²)» — интервал из примера 3.

Проверь себя