§1. Простая гипотеза: критерий хи-квадрат Пирсона

Пусть $\xi_1, \dots, \xi_n$ — выборка (§1 главы 4) из закона с функцией распределения $F(x)$. Разобьём множество значений $\xi_1$ на $N$ промежутков (возможно, бесконечных) $\Delta_j = (a_j, b_j]$, $j = 1, \dots, N$ (если множество значений — интервал, то $a_j = b_{j-1}$). Положим $p_j = \mathbf P(\xi_1 \in \Delta_j)$, а случайные величины $\nu_j$ — равными количеству элементов выборки в $\Delta_j$ ($\nu_1 + \dots + \nu_N = n$).

Функция $F$ неизвестна. Проверяется гипотеза

где $F_0$ — заданная функция распределения. Если гипотеза верна, то по закону больших чисел (П6) частоты попадания в промежутки $\hat p_j = \nu_j/n$ при достаточно больших $n$ должны быть близки к соответствующим вероятностям $p_j^0 = F_0(b_j) - F_0(a_j)$.

В качестве меры отклонения от гипотезы $H_0$ Карл Пирсон в 1900 году предложил статистику

По кирпичикам: $\nu_j$ — сколько попало в ячейку, $np_j^0$ — сколько должно было попасть. Разность в квадрате — насколько промахнулись. Делим на $np_j^0$, чтобы промах на 5 в ячейке, где ждали 10, весил больше, чем промах на 5 там, где ждали 1000.

Смысл по-пацански: «наблюдено минус ожидалось, в квадрате, делить на ожидалось» — и так по всем ячейкам. Если гипотеза верна, промахи маленькие и сумма скромная. Если нет — сумма раздувается.

Замечание 1. Первое представление в (1) показывает, что $X_n^2$ — взвешенная сумма квадратов отклонений частот от гипотетических вероятностей. Для фиксированного промежутка в силу центральной предельной теоремы (П6) каждое отклонение асимптотически нормально (§4 главы 7) и имеет порядок малости $1/\sqrt n$. Множитель $n$ перед суммой нужен, чтобы предельное распределение статистики не вырождалось в 0. Поскольку складываются квадраты отклонений с весами, обратно пропорциональными гипотетическим вероятностям (чтобы «уравнять» слагаемые между собой), правдоподобно, что предельным законом будет хи-квадрат — сумма квадратов независимых $\mathcal N(0, 1)$ величин.

Предельная теорема

Теорема 1. Если $0 < p_j^0 < 1$, $j = 1, \dots, N$, то при $n \to \infty$

$$X_n^2 \xrightarrow{d} \zeta \sim \chi^2_{N-1}.$$

Почему степеней свободы не $N$, а $N - 1$ — вопрос 1.

Доказательство. Раскладывая независимые «шарики» $\xi_i$ по «ящикам» $\Delta_j$ с вероятностями $p_j^0$ (§5 главы 10), получаем

если все $l_j \ge 0$ и $l_1 + \dots + l_N = n$, иначе вероятность равна 0. Используя формулу возведения суммы в $n$-ю степень

находим, что характеристическая функция (П9) вектора $\boldsymbol\nu = (\nu_1, \dots, \nu_N)$ имеет вид

Для преобразованного вектора $\boldsymbol\nu^* = (\nu_1^*, \dots, \nu_N^*)$ с компонентами $\nu_j^* = (\nu_j - np_j^0)/\sqrt n$

Логарифмируя и раскладывая при $\varepsilon \to 0$ в ряды Тейлора $\ln(1 + \varepsilon) = \varepsilon - \varepsilon^2/2 + O(\varepsilon^3)$ и $e^{i\varepsilon} = 1 + i\varepsilon - \varepsilon^2/2 + O(\varepsilon^3)$, получаем

где (П10)

Отсюда предел $\psi_{\boldsymbol\nu^*}(\mathbf t)$ при $n \to \infty$ есть характеристическая функция $\exp\{-\frac12\mathbf t^T\boldsymbol\Sigma\mathbf t\}$ многомерного нормального закона $\mathcal N(\mathbf 0, \boldsymbol\Sigma)$ (П9). (Неотрицательная определённость $\boldsymbol\Sigma$ — задача 5.) По теореме непрерывности из П9 распределение $\boldsymbol\nu^*$ сходится к этому закону.

Заметим, что ковариационная матрица $\boldsymbol\Sigma$ вырождена (П10). Причина — линейная зависимость компонент вектора $\boldsymbol\nu^*$:

Однако её подматрица $\mathbf A$ размера $(N - 1)\times(N - 1)$ уже не вырождена: обратной к ней служит

Таким образом, для подвектора $\mathbf c = (\nu_1^*, \dots, \nu_{N-1}^*)$ предельным будет невырожденный нормальный закон $\mathcal N(\mathbf 0, \mathbf A)$. Согласно последнему утверждению из П9 и свойству 3 сходимости из П5

С другой стороны, из (1) и (4)

Правая часть совпадает с $\mathbf c\mathbf B\mathbf c^T$, что с учётом (5) завершает доказательство. $\blacksquare$

Смысл по-пацански: $N$ ячеек, но «свободных» отклонений только $N - 1$ — последнее определяется остальными, потому что всего шариков ровно $n$. Одна степень свободы уходит на эту связь.

Сколько нужно данных и как выбирать промежутки

Приближение закона $X_n^2$ законом $\chi^2_{N-1}$ считается достаточно точным при $n \ge 50$ и $np_j^0 \ge 5$ для всех $j = 1, \dots, N$.

Замечание 2. Последнее условие обеспечивает попадание хотя бы нескольких наблюдений в каждый промежуток $\Delta_j$. Это нужно для пригодности нормального приближения для $\sqrt n(\hat p_j - p_j^0)$: чем больше ожидаемое количество попаданий $np_j^0$, тем приближение точнее. Поэтому число промежутков $N$ не должно быть слишком большим. Но и очень малым его брать нельзя: тогда набор $p_1^0, \dots, p_N^0$ плохо представляет гипотетическую функцию $F_0(x)$. Обычно на практике берут $N \approx \log_2 n$.

Когда $N$ выбрано, остаётся решить, как задать промежутки. Если область значений $\xi_1$ — ограниченный интервал, его можно разбить на равные по длине части. Альтернатива (годится и для неограниченных областей) — равновероятные промежутки: $a_j = b_{j-1}$, а правые границы находятся из уравнений $F_0(b_j) = j/N$.

Иногда $N$ и $p_j^0$ не выбираются исследователем, а определяются самой проблемой — как в следующем примере.

Пример 1. Генетические законы Менделя

В экспериментах с селекцией гороха (1856–1863) Г. Мендель (1822–1884, австрийский естествоиспытатель) наблюдал частоты различных видов семян, получаемых при скрещивании растений с круглыми жёлтыми семенами и растений с морщинистыми зелёными. Эти данные и теоретические вероятности по закону Менделя о независимом расщеплении признаков:

Проверим гипотезу $H_0$ о согласованности частот с теоретическими вероятностями. Статистика (1) $X_n^2 \approx 0{,}47$. По таблице T3 это значение лежит между квантилями уровня 0,05 и 0,1 закона $\chi^2_3$, то есть фактический уровень значимости около 0,93. Согласие наблюдений с гипотезой $H_0$ очень хорошее.

Смысл по-пацански: а не слишком ли хорошее? Со времён Р. Фишера (1936) спорят, не «подправлял» ли кто-то данные Менделя: по совокупности всех его опытов согласие с теорией подозрительно идеальное. Подумай, как ведёт себя X² у «слишком хорошего» датчика (вопрос 2), — в виджете есть и такой.

Проверь себя