§1. Статистический критерий: честная ли монетка

Эксперимент

Кто-то подбросил монетку 10 раз, и в 8 случаях она упала гербом вверх. Можно ли считать эту монетку симметричной?

Модель и гипотеза

Используем схему Бернулли: данные — реализация выборки $\mathbf X = (X_1, \dots, X_{10})$, где $X_i = 1$ (герб) с вероятностью $\theta$ и $X_i = 0$ (решка) с вероятностью $1 - \theta$. Как проверить гипотезу $H$ о том, что $\theta = \tfrac12$?

Правило, позволяющее принять или отвергнуть гипотезу $H$ на основе реализации $x_1, \dots, x_n$, называется статистическим критерием. Обычно критерий задаётся с помощью статистики критерия $T(x_1, \dots, x_n)$ — такой, что для неё типично принимать умеренные значения, когда $H$ верна, и большие (или малые) значения, когда $H$ не выполняется.

Здесь в качестве $T$ можно взять сумму $x_1 + \dots + x_n$ — число гербов. Гипотезе $H\colon \theta = \tfrac12$ противоречат значения, близкие к 0 или к $n$.

Уровень значимости

При проверке гипотез всегда есть возможность ошибочно отвергнуть верную гипотезу. Например, честная монета может случайно упасть 10 раз подряд гербом. Но вероятность такого события всего $2^{-10} = 1/1024$. Если мы готовы пренебречь возможностью столь маловероятного события, то 10 гербов подряд — основание отклонить $H\colon \theta = \tfrac12$.

В общем случае задаётся малое число $\alpha$ — вероятность, с которой мы можем позволить себе отвергнуть верную гипотезу (скажем, $\alpha = 0{,}05$). Его называют уровнем значимости. Исходя из того, что $H$ верна, находят наименьшее значение $x_{1-\alpha}$, для которого

Если функция распределения $T$ непрерывна, то $x_{1-\alpha}$ — её $(1 - \alpha)$-квантиль (глава 7). Такое $x_{1-\alpha}$ называют критическим значением: гипотеза $H$ отвергается, если $t_0 = T(x_1, \dots, x_n) \ge x_{1-\alpha}$ (произошло маловероятное событие), и принимается в противном случае.

Фактический уровень значимости

Величина

задаёт фактический уровень значимости (по-английски p-value). Это вероятность того, что статистика $T$, измеряющая отклонение от наиболее типичного, за счёт случайности примет значение $t_0$ или ещё больше. Фактический уровень значимости — наименьший уровень, на котором гипотеза отвергается.

Если значение $T$ попало в область, имеющую при верной $H$ высокую вероятность, говорят, что данные согласуются с гипотезой. Отсюда и термин «критерии согласия».

Смысл по-пацански: уровень значимости — сколько ты готов рискнуть, обвиняя честного пацана в шулерстве. Фактический уровень — насколько странно выглядят его результаты, если он честный. Странно меньше твоего порога — предъявляешь. Не странно — отпускаешь, но это не значит, что он чист.

Считаем

Проверим $H\colon \theta = \tfrac12$ на уровне $\alpha = 0{,}05$. Сумма $T$ имеет биномиальное распределение:

Для $\theta = \tfrac12$ при $k = 8$ это $(45 + 10 + 1)/1024 \approx 0{,}055$, а при $k = 9$ — $(10 + 1)/1024 \approx 0{,}011$. Поэтому наименьшим $x_{1-\alpha}$, удовлетворяющим (1), будет 9. Полученное значение $t_0 = 8 < 9$ — на уровне $0{,}05$ гипотеза принимается.

С другой стороны, фактический уровень $\alpha_0 = \mathbf{P}(T \ge 8) \approx 0{,}055$ всего на $0{,}005$ превосходит заданный. Уже при $\alpha = 0{,}06$ гипотезу пришлось бы отклонить.

На основе этого эксперимента нельзя уверенно ни принять, ни отвергнуть $H$ (хотя последнее правдоподобнее). Лучше ещё несколько раз подбросить монетку. Вычисление фактического уровня значимости позволяет избежать категоричных и при этом ошибочных выводов, сделанных лишь на основе сравнения $t_0$ с критическим значением, найденным для формально заданного $\alpha$.

Тонкость. Мы проверяли только «слишком много гербов» — односторонний критерий. Если подозревать монетку в перекосе в любую сторону, то «так же или более странно» включает и $T \le 2$, и двусторонний уровень будет $2 \cdot 0{,}055 \approx 0{,}11$.

Посмотри: 80 % гербов на 10 бросках — «так себе улика», а 60 % на 100 бросках — уже серьёзнее (вопрос 1). Доля та же самая не значит, что улика та же.

Проверь себя