§1. Ошибки I и II рода: два способа облажаться

Пример 1. Нормальная модель

Рассмотрим модель $X_i \sim \mathcal N(\theta, \sigma^2)$, где дисперсия $\sigma^2$ известна, а математическое ожидание $\theta$ — нет (пример 2 главы 11). Для проверки гипотезы $H_0\colon \theta = \theta_0$ применим критерий со статистикой $T(X_1, \dots, X_n) = \bar X$. Если $H_0$ верна, то $\bar X \sim \mathcal N(\theta_0, \sigma^2/n)$.

Критическое значение $t_\alpha$ найдём из условия $\alpha = \mathbf P_{\theta_0}(\bar X \ge t_\alpha)$:

где $\Phi$ — функция распределения $\mathcal N(0, 1)$. Обозначив через $x_p$ её $p$-квантиль ($\Phi(x_p) = p$), получаем

По кирпичикам: $\theta_0$ — где центр, если гипотеза верна; $\sigma/\sqrt n$ — разброс среднего; $x_{1-\alpha}$ — сколько таких разбросов отступить вправо, чтобы за порогом осталась доля $\alpha$.

Если $\bar x \ge t_\alpha$, гипотеза $H_0$ отвергается. Если она верна, это случается с вероятностью $\alpha$ — отвергая верную $H_0$, мы совершаем ошибку I рода.

С другой стороны, может оказаться, что на самом деле верна не $H_0$, а её альтернатива $H_1\colon \theta = \theta_1$, скажем, $\theta_1 > \theta_0$. Если при этом $\bar x < t_\alpha$, мы ошибочно примем $H_0$ вместо $H_1$ — это ошибка II рода. Когда верна альтернатива, $\bar X \sim \mathcal N(\theta_1, \sigma^2/n)$, и из (1)

Смысл по-пацански: ошибка I рода — повязать невиновного. Ошибка II рода — отпустить виноватого. Кто из них «первый», а кто «второй», зависит только от того, что назвали гипотезой: поменяй $H_0$ и $H_1$ местами — поменяются и названия ошибок.

Покрути порог и расстояние между гипотезами — посмотри, как α и β тянут одеяло друг у друга:

Функция мощности

В общем случае для параметрической модели $\{F(x, \theta),\ \theta \in \Theta\}$ в множестве $\Theta$ выделяют два непересекающихся подмножества $\Theta_0$ и $\Theta_1$. Гипотеза $H_0$ — что $\theta \in \Theta_0$, альтернатива $H_1$ — что $\theta \in \Theta_1$. Если подмножество состоит из одной точки, гипотеза (альтернатива) называется простой, иначе — сложной.

Критерий уровня $\alpha$ задаётся критическим множеством $G_\alpha \subset \mathbb R^n$ таким, что $\mathbf P_\theta(\mathbf X \in G_\alpha) \le \alpha$ при всех $\theta \in \Theta_0$. Статистика критерия — это, по сути, индикатор множества $G_\alpha$ (§1 главы 12). Вероятность ошибки II рода $\beta(\theta) = \mathbf P_\theta(\mathbf X \notin G_\alpha)$ при $\theta \in \Theta_1$, а

называется функцией мощности критерия. Для примера 1 против сложной альтернативы $H_1\colon \theta > \theta_0$ из (2) и симметрии $\Phi$:

Вот она при $\theta_0 = 0$, $\sigma = 1$, $n = 10$, $\alpha = 0{,}05$ ($x_{0{,}95} \approx 1{,}645$). Поменяй в формуле 10 на 40 — кривая станет круче:

Критерий называется несмещённым, если $W(\theta) \ge \alpha$ при всех $\theta \in \Theta_1$: правильно отвергнуть гипотезу при любой альтернативе не менее вероятно, чем неправильно — при верной $H_0$. Если $W(\theta) \to 1$ при $n \to \infty$ для любого $\theta \in \Theta_1$, критерий состоятельный.

Смысл по-пацански: мощность — это шанс поймать виноватого. Несмещённый критерий хватает виноватых не реже, чем невиновных, — иначе он хуже монетки. Состоятельный — с ростом улик рано или поздно поймает любого.

При непараметрическом подходе в множестве всех функций распределения выделяют два непересекающихся класса — гипотез и альтернатив. Вот пример.

Пример 2. «Новое лучше старого» (Холлендер — Прошан)

Пусть $X_i$ — времена работы прибора до $i$-го отказа, выборка из непрерывного закона. Гипотеза

Слева — вероятность проработать ещё время $y$ для прибора, который уже отработал $x$; справа — для нового. Гипотеза говорит: работающие приборы любого «возраста» не лучше и не хуже новых. Это равносильно сложной гипотезе показательности $\mathbf P(X_1 \ge x) = e^{-\theta x}$. В одну сторону это проверяется в строчку:

обратное доказывается сложнее.

Альтернативы — два класса законов:

• а) «Новое лучше старого» $H_1$: в (3) вместо равенства стоит $\le$, причём хотя бы где-то строго — прибор изнашивается;
• б) «Новое хуже старого» $H_2$: вместо равенства $\ge$ — прибор «прирабатывается».

Ф. Прошан отмечал: тенденция к удлинению интервалов между отказами бывает результатом доводки или замены повреждённых частей, а к сокращению — износа, старения или плохого обслуживания.

Упорядочим $X_{(1)} \le \dots \le X_{(n)}$. Статистика Холлендера — Прошана:

Сумма по всем $n(n-1)(n-2)/6$ упорядоченным тройкам. По кирпичикам: берём три срока службы и смотрим, прожил ли самый длинный больше, чем два других вместе. Для показательного закона без памяти это бывает «в норме»; у изнашивающегося прибора длинные сроки короче — $T_n$ мало.

Строже: пусть $T'(x, y) = \mathbf P(X_1 \ge x)\mathbf P(X_1 \ge y) - \mathbf P(X_1 \ge x + y)$. Ровно при $H_0$ это ноль при всех $x, y$. Линейно связанная с $T_n$ статистика $T^* = 1/4 - 2T_n/[n(n-1)(n-2)]$ оценивает $\Delta(F) = \mathbf M\,T'(X', Y')$ — среднее отклонение от $H_0$. При альтернативе $H_1$ величина $\Delta(F) > 0$, поэтому $T^*$ растёт, а $T_n$ убывает.

Для больших $n$ годится нормальное приближение $(T_n - \mathbf MT_n)/\sqrt{\mathbf DT_n} \approx \mathcal N(0, 1)$ при $H_0$, где

Критерий состоятелен против $H_1$ и $H_2$. (Мы проверили моделированием: при $n = 50$ нормированная статистика имеет среднее 0,00 и стандартное отклонение 1,00; односторонний критерий уровня 5 % на деле отвергает верную $H_0$ в 6 % случаев.)

Лагутин применил критерий к столбцу таблицы равномерных случайных чисел: равномерный закон — это альтернатива $H_1$ (проверьте!). Предварительно проверили, что числа образуют выборку, критерием числа инверсий (пример 2 главы 7): фактический уровень значимости 0,697, случайность не отвергается. А нормированная статистика Холлендера — Прошана оказалась равной $-3{,}16$ — значимо мала на уровне $0{,}002$. Повторим опыт на своих числах:

Показательная выборка даёт что-то около нуля, равномерная — сильно отрицательное значение. По нашим прогонам при $n = 50$ критерий ловит равномерный закон в 99 % случаев.

Смысл по-пацански: у показательного закона нет памяти — бэушный прибор ничем не хуже нового. Если старые ломаются чаще, значит, память есть, и этот критерий её учует.

Проверь себя