§5. Критерий серий: ошибается ли прогноз кучками

Рассмотрим простой метод, позволяющий обнаруживать определённый вид корреляции наблюдений $Z_i$. Он называется критерием серий.

Серии

Пусть $h$ — некоторый заданный уровень. На практике обычно берут предварительно вычисленное выборочное среднее, выборочную медиану или любую константу между минимумом и максимумом наблюдений. Положим $\zeta_i = I_{\{Z_i \le h\}}$. Если $Z_1, \dots, Z_n$ независимы и одинаково распределены, то $\zeta_1, \dots, \zeta_n$ — схема Бернулли (§3 главы 1) с неизвестной вероятностью «успеха» $p = p(h) = \mathbf P(Z_1 \le h)$.

Реализация $\zeta_1, \dots, \zeta_n$ — последовательность из символов 0 и 1 длины $n$. Сериями назовём цепочки символов одного вида. Например, 111010 содержит 4 серии. Обозначим через $T_n$ число серий:

Здесь $\delta_i$ — индикатор смены символа на $(i + 1)$-м месте. Если $\zeta_1, \dots, \zeta_n$ — схема Бернулли, то $\delta_i$ образуют стационарную $m$-зависимую последовательность с $m = 1$ (П6). По теореме Хёфдинга и Роббинса (П6) при $0 < p < 1$ распределение $(T_n - \mathbf MT_n)/\sqrt{\mathbf DT_n}$ сходится к $\mathcal N(0, 1)$. (Чему равны $\mathbf MT_n$ и $\mathbf DT_n$ — вопрос 1.)

По кирпичикам: если наблюдения независимы, символы перемешаны «как монетка», и серий в меру. Если соседние значения похожи (положительная корреляция), символы слипаются в длинные куски — серий мало. Если наблюдения скачут туда-сюда (отрицательная корреляция) — серий много.

Смысл по-пацански: честная монетка не любит длинных одинаковых полос, но и строгого чередования «орёл-решка-орёл» тоже не любит. И то и другое — улика.

Условный закон

Поскольку вероятность $p$ в общем случае неизвестна, для проверки независимости $Z_i$ применим критерий, основанный на условной предельной теореме. Пусть $S_n = \zeta_1 + \dots + \zeta_n$ — число единиц. Для $k = 1, 2, \dots, n - 1$, $m = 0, 1, \dots, n$ и $l = n - m$

Как это доказать с помощью модели размещения неразличимых шариков по ящикам из §5 главы 10 — вопрос 3.

Заметим главное: условное распределение $\mathbf P(T_n = k \mid S_n = m)$ при фиксированном $m$ не зависит от неизвестного $p$. Для него верен следующий результат.

Условная предельная теорема. Пусть $m, n \to \infty$ так, что $m/n \to \gamma \in (0, 1)$. Тогда $\mathbf P(T_n \le k \mid S_n = m) = \Phi\bigl((k - \mu_{m,n})/\sigma_{m,n}\bigr) + o(1)$, где $l = n - m$ и $\mu_{m,n} = \mathbf M(T_n \mid S_n = m) = 1 + 2lm/n$, $\sigma^2_{m,n} = \mathbf D(T_n \mid S_n = m) = 2lm(2lm - n)/[n^2(n - 1)]$ — формулы (11).

Этим приближением можно пользоваться при $n \ge 20$. Критические значения для меньших $n$ есть в таблицах (у Лагутина — ссылка [10]). Формулу для $\mu_{m,n}$ предлагается доказать в задаче 7.

Порядок действий

Для проверки независимости $Z_1, \dots, Z_n$ против альтернативы их положительной коррелированности $H^+$ (относительно малое число серий) или отрицательной $H^-$ (большое число серий) надо:

1. задать уровень $h$ (скажем, равный $\bar z$);
2. преобразовать реализацию $z_1, \dots, z_n$ в последовательность $I_{\{z_1 \le h\}}, \dots, I_{\{z_n \le h\}}$;
3. подсчитать количество серий $k$ и число единиц $m$;
4. вычислить $\mu_{m,n}$ и $\sigma^2_{m,n}$ по формулам (11);
5. найти

6. по таблице T2 определить приближённый фактический уровень значимости

7. отвергнуть гипотезу независимости, если $\alpha_0$ достаточно мало, иначе принять.

(Поправка $\pm 0{,}5$ — та же поправка на непрерывность, что в §2.)

Пример 5. Прогноз погоды

Ниже указаны результаты проверки прогноза температуры воздуха на сутки вперёд в течение 28 последовательных дней. Знаком «−» отмечены дни, когда абсолютная ошибка прогноза была больше 2°, в остальных случаях стоит «+»:

+++++++++++ ----- ++ -- +++++ - ++

Можно ли утверждать, что правильные и неправильные прогнозы группируются случайно?

Здесь $k = 7$ серий, плюсов $l = 20$, минусов $m = 8$, $n = 28$. По формулам (11) $\mu_{m,n} = 12{,}429$ и $\sigma^2_{m,n} = 4{,}414$. Отсюда $t^*_n = (7 + 0{,}5 - 12{,}429)/2{,}101 = -2{,}346$, что по таблице T2 значимо мало на уровне 1 % ($\alpha_0 \approx 0{,}0095$). Гипотезу о чисто случайном расположении знаков «+» и «−» следует отвергнуть: синоптики ошибаются кучками. (Точный условный уровень по закону выше — 0,011, тот же вывод.)

Смысл по-пацански: если погода «сломалась» — пришёл необычный циклон, — прогноз будет мазать несколько дней подряд, пока модель не подстроится. Ошибки зависимы, и критерий серий это ловит по одной только последовательности плюсов и минусов.

Переключись на «Смоделировать»: при «слипании» серий становится мало и критерий против $H^+$ срабатывает, при «чередовании» — серий много и срабатывает критерий против $H^-$.

Проверь себя