§2. Оптимальный критерий Неймана — Пирсона: как выжать максимум мощности

Какой критерий лучше

Из двух критериев уровня $\alpha$ с критическими множествами $G'_\alpha$ и $G''_\alpha$ лучше тот, у которого мощность больше. Если альтернатива сложная, возникает та же беда, что при сравнении оценок по функциям риска (§3 главы 6): графики двух функций мощности $W'(\theta)$ и $W''(\theta)$ могут пересекаться, и тогда ни один критерий не лучше другого везде.

Для простой гипотезы $H_0$ против простой альтернативы $H_1$ всё проще: наиболее мощный критерий существует, и его критическое множество $G^*_\alpha$ выписывается явно. Этот результат впервые получили Ю. Нейман и Э. Пирсон в 1933 году. Но сначала разберёмся, как вообще выбирать критическое множество.

Тришкин кафтан

В модели примера 1 (§1) возьмём внутри диапазона «типичных» при $H_0$ значений $\bar X$ маленький отрезок $\Delta$ такой, что $\mathbf P_{\theta_0}(\bar X \in \Delta) = \alpha$. Критерий «отвергаем, если $\bar x \in \Delta$» имеет уровень $\alpha$ — формально всё честно. Чем он плох — вопрос 2.

Если же в критерии $\{\bar x \ge t_\alpha\}$ сдвигать границу $t_\alpha$ вправо, чтобы уменьшить $\alpha$, то дополнение к критическому множеству растёт, и вместе с ним растёт $\beta$. При фиксированном объёме выборки $n$ сделать обе ошибки сколь угодно малыми не удаётся: залатал один локоть — порвал другой.

Смысл по-пацански: хочешь никогда не сажать невиновных — отпускай всех подряд, тогда и виноватые гуляют. Хочешь ловить всех виноватых — сажай всех. Посередине всегда компромисс, и выбирать его надо осознанно.

Эта ситуация напоминает принцип неопределённости Гейзенберга (1927) из квантовой физики: координату и импульс частицы нельзя одновременно измерить сколь угодно точно, $\Delta x \cdot \Delta p \ge h$, где $h \approx 6{,}626 \cdot 10^{-34}$ Дж·с — постоянная Планка.

Чем платить за ошибки

Если за ошибку I рода приходится платить цену $C_\alpha$, а за ошибку II рода — $C_\beta$, критическое множество можно выбрать так, чтобы минимизировать взвешенные общие затраты $\alpha C_\alpha + \beta C_\beta$ (задача 1).

Но цену ошибок не всегда удаётся выразить одним числом. Пусть по анализам проверяется гипотеза $H_0$ «пациент болен» против $H_1$ «пациент здоров». Ошибка I рода — больному не окажут помощь; ошибка II рода — станут лечить здорового. Здесь разумнее другой подход: задать малую вероятность ошибки I рода $\alpha$ и среди всех таких критериев найти тот, у которого $\beta$ наименьшая.

Для выборки $\mathbf X$ и множества $G \subset \mathbb R^n$ положим $\mathbf P_k(G) = \mathbf P_{\theta_k}(\mathbf X \in G)$, $k = 0, 1$. Гипотеза и альтернатива порождают в $\mathbb R^n$ две меры $\mathbf P_0$ и $\mathbf P_1$. Задача — найти $G^*$, для которого $\mathbf P_0(G^*) \le \alpha$, а $\mathbf P_1(G^*)$ максимально.

Пример 3. Молекулы и атомы

Рассмотрим дискретную модель: при $H_0$ мера $\mathbf P_0$ равномерна на $M$ точках $\{x_1, \dots, x_M\}$, а при $H_1$ точке $x_j$ приписана вероятность $\mathbf P_1(x_j) = p_j$. Для $\alpha = k/M$ любой набор из $k$ точек задаёт критерий уровня $\alpha$. Чтобы мощность (вес набора при $H_1$) была наибольшей, надо упорядочить $p_j$ по убыванию и взять $k$ точек с наибольшими $p_j$.

Усложним: пусть при $H_0$ точка $x_j$ имеет массу $q_j = m_j\delta$. Представим, что $j$-я «молекула» состоит из $m_j$ «атомов» массы $\delta$ при $H_0$ и массы $p_j/m_j$ при $H_1$. Для атомов задача уже решена: берём атомы с наибольшей массой при $H_1$. Внутри одной молекулы атомы одинаковы, так что они идут подряд. Итог: оптимальное множество собирается из молекул с наибольшим отношением

то есть с наибольшим отношением правдоподобий $\mathbf P_1(x_j)/\mathbf P_0(x_j)$.

Смысл по-пацански: у тебя рюкзак ограниченного объёма $\alpha$ (столько «веса гипотезы» можно унести), а ценность каждой вещи — её вес при альтернативе. Классика: набиваем рюкзак по убыванию «ценности на килограмм». Это и есть отношение правдоподобия.

Непрерывный случай

Для абсолютно непрерывной модели то же самое, только отношение вероятностей заменяется отношением плотностей $p_1(\mathbf x)/p_0(\mathbf x)$ выборки при $H_1$ и $H_0$. Для $c \ge 0$ рассмотрим вложенные множества

и функцию $\varphi(c) = \mathbf P_0(G_c)$. Ясно, что $\varphi(0) = 1$ и $\varphi$ может только убывать с ростом $c$. Более того, $\varphi(c) \le 1/c \to 0$ при $c \to \infty$:

Потребуем выполнения двух условий:

1. плотности $p_0(\mathbf x)$ и $p_1(\mathbf x)$ положительны при всех $\mathbf x \in \mathbb R^n$;
2. для заданного $\alpha \in (0, 1)$ существует $c = c_\alpha$ с $\varphi(c_\alpha) = \alpha$ (это всегда так, если $\varphi$ непрерывна).

Теорема 1 (Нейман — Пирсон). При условиях 1 и 2 наиболее мощный критерий уровня $\alpha$ задаётся критическим множеством (7):

Доказательство. Пусть $G$ — критическое множество какого-то критерия уровня $\alpha$. По определению и условию 2

Обозначим через $I(\mathbf x)$ и $I^*(\mathbf x)$ индикаторы $G$ и $G^*$ и рассмотрим

Она неотрицательна везде. При $\mathbf x \in G^*$ оба сомножителя $\ge 0$: первый — так как $I^* = 1$, второй — по определению (7). При $\mathbf x \notin G^*$ первый сомножитель равен $-I(\mathbf x) \le 0$, а второй по (7) отрицателен. Поэтому

Квадратная скобка по (8) неотрицательна, откуда $\mathbf P_1(G^*) \ge \mathbf P_1(G)$. $\blacksquare$

Если мера Лебега множества $\{\mathbf x : p_1(\mathbf x)/p_0(\mathbf x) = c\}$ равна нулю, то $G^*$ — единственное наиболее мощное множество (с точностью до множества меры нуль). Без этого условия единственности нет — контрпример в задаче 5.

Теорема 2. Для множества $G^*$ из (7) справедливо $\mathbf P_1(G^*) > \alpha$: критерий Неймана — Пирсона строго несмещённый.

Доказательство. Если $c_\alpha > 1$, то из (6) $\mathbf P_1(G^*) \ge c_\alpha\mathbf P_0(G^*) = c_\alpha\alpha > \alpha$. Если $c_\alpha \le 1$, то вне $G^*$ выполнено $p_1(\mathbf x) < c_\alpha p_0(\mathbf x) \le p_0(\mathbf x)$, и

Смысл по-пацански: самый мощный критерий не изобретают — его вычисляют. Для каждой точки спрашиваем: «во сколько раз такие данные вероятнее при альтернативе, чем при гипотезе?» Отвергаем там, где этот ответ самый громкий, пока не исчерпаем бюджет $\alpha$.

Снова пример 1

Для нормальной модели

При $\theta_1 > \theta_0$ неравенство $p_1/p_0 \ge c_\alpha$ равносильно

Значит, критерий примера 1 — наиболее мощный, когда $t_\alpha$ равно правой части (10); соответствующее $c_\alpha$ находится из (1). При этом граница $t_\alpha$ из (1) не зависит от $\theta_1$. Поэтому мощность критерия максимальна сразу при любом $\theta_1 > \theta_0$: критерий равномерно наиболее мощный против сложной альтернативы $H_1\colon \theta > \theta_0$.

Когда «большие значения» — не лучший выбор

У нормальной модели отношение правдоподобия монотонно по $\bar x$, поэтому оптимальный критерий — «отвергаем при большом $\bar x$». Так бывает не всегда. Возьмём одно наблюдение из закона Коши с плотностью $p(x - \theta)$, $p(x) = 1/[\pi(1 + x^2)]$, и проверим $H_0\colon \theta = 0$ против $H_1\colon \theta = 1$ (задача 2). Отношение

не монотонно: при $x \to \pm\infty$ оно стремится к 1, а максимум $2 + \varkappa$ достигает в точке $x = 1 + \varkappa$, где $\varkappa = (\sqrt5 - 1)/2 \approx 0{,}618$ — золотое сечение.

При $\alpha = 0{,}05$ оптимальное множество — отрезок примерно $[1{,}37;\ 1{,}94]$. Огромные $x$ гипотезе $H_0$ не противоречат: у Коши тяжёлые хвосты, и выброс в 100 одинаково возможен при обеих гипотезах. Наивный критерий «отвергаем при $x \ge 6{,}31$» того же уровня имеет мощность 0,059 — почти как жребий, который отвергает гипотезу наугад с вероятностью $\alpha$. Критерий Неймана — Пирсона даёт 0,129, вдвое больше. Подними $\alpha$ до 0,352 — множество станет лучом $[1/2; \infty)$, и оба критерия совпадут.

Смысл по-пацански: когда хвосты тяжёлые, громкий крик — не улика: орут все. Подозрительно как раз тихое «чуть правее нуля», где вторая версия правдоподобнее первой больше всего.

Проверь себя