§4. Зависимые наблюдения: когда соседи шепчутся

До сих пор мы предполагали, что приращения $Z_i$ независимы (допущение Д6). Чтобы показать, что происходит при отказе от этого допущения, рассмотрим пример.

Пример 3. Влияние сериальной корреляции

Пусть компоненты нормального случайного вектора $(Z_1, \dots, Z_n)$ (П9) таковы, что $Z_i \sim \mathcal N(\theta, 1)$, $\mathbf M(Z_iZ_j) = \rho$ при $j = i \pm 1$ и $0$ в противном случае, причём коэффициент корреляции $|\rho| \le 1/2$ (корректность этого определения проверяется в задаче 2). При $\rho = 0$ получаем независимые $Z_i$, а при $\rho \ne 0$ зависимы лишь стоящие рядом величины. Эта модель — частный случай $m$-зависимой последовательности с $m = 1$ (П6).

По кирпичикам: это как измерения в соседние дни. Сегодня прибор барахлит — и завтра, скорее всего, тоже немного. А через неделю уже никакой связи.

Проверим гипотезу $H_0'\colon \theta = 0$ против $H_3'\colon \theta > 0$. При $\rho = 0$ равномерно наиболее мощный критерий Неймана — Пирсона уровня $\alpha$ задаётся критическим множеством $\{\mathbf z \in \mathbb R^n : \sqrt n\,\bar z \ge x_{1-\alpha}\}$ (пример 1 главы 13). Каков истинный уровень значимости этого критерия, если на самом деле $\rho \ne 0$? Вычислим

при верной $H_0'$. Как линейная комбинация компонент нормального вектора, $\sqrt n\,\bar Z$ распределена нормально с $\mathbf M(\sqrt n\,\bar Z) = 0$ и $\mathbf D(\sqrt n\,\bar Z) = 1 + 2\rho(n - 1)/n$ (свойства дисперсии 1 и 3 из П2). Отсюда при больших $n$

Смысл по-пацански: у суммы $n$ коррелированных величин разброс больше, чем у суммы независимых: каждый сосед «подпевает». Критерий рассчитан на меньший разброс — и пугается чаще, чем должен.

Критерий знаков

Вычислим для критерия знаков аналогичную характеристику

где $S = \sum U_i$, $U_i = I_{\{Z_i > 0\}}$. При $H_0'$

поскольку $\mathbf DU_1 = \mathbf MU_1^2 - (\mathbf MU_1)^2 = \mathbf MU_1 - 1/4 = 1/4$. Из задачи 3

Подставляя, получаем

Так как $\mathbf M|U_1|^3 = \mathbf MU_1 = 1/2 < \infty$, выполнены условия теоремы Хёфдинга и Роббинса из П6 (центральная предельная теорема для $m$-зависимых последовательностей), и $(S - \mathbf MS)/\sqrt{\mathbf DS} \to \mathcal N(0, 1)$. Отсюда при $n \to \infty$

Критерий знаковых рангов

Приведём для сравнения аналогичную характеристику для статистики $T$ критерия знаковых рангов Уилкоксона (у Лагутина — ссылка [86]). Из задачи 6 при $H_0'$ $\mathbf MT = n(n + 1)/4$, $\mathbf DT = n(n + 1)(2n + 1)/24$, и

Таблица истинных уровней

Значения при номинальном $\alpha = 5\,\%$:

(Мы пересчитали таблицу по формулам — расхождения не больше 0,001, на уровне округления.)

Истинные уровни значимости всех трёх критериев довольно существенно отличаются от 5 %. При положительной корреляции далёкие от нуля $Z_i$ как бы подтягивают к себе соседей, и дисперсия статистики растёт по сравнению с номинальной. Так, при $\rho = 0{,}4$ гипотеза $H_0'$ отвергается примерно в 10 % случаев вместо 5 %.

Заметим также, что строка $\alpha_\rho(T)$ почти совпадает со строкой $\alpha_\rho(\bar Z)$. Это объясняется тем, что $\arcsin\rho = \rho + \rho^3/6 + \dots$, поэтому

Смысл по-пацански: выбор критерия — дело десятое. Если наблюдения шепчутся между собой, любой из трёх врёт об уровне значимости в два раза. Ранговый критерий от зависимости не спасает.

Наличие корреляции для реальных наблюдений — скорее правило, чем исключение. Б. Мандельброт и Дж. Уоллис исследовали около 70 рядов геофизических данных: речной сток, количество осадков, частота землетрясений, годовые кольца деревьев, мощность геологических слоёв, число солнечных пятен. В большинстве случаев была выявлена значимая положительная корреляция.

Пример 4. Колебания уровня воды

Рассмотрим упрощённую вероятностную модель отклонений от среднего уровня водоёма (например, Каспийского моря), вызванных испарением с поверхности и колебаниями в стоке. Обозначим через $H_n$ уровень в $n$-м году. Уравнение баланса:

где $k$ — коэффициент испарения, $S(H)$ — площадь водной поверхности на уровне $H$, $T_{n+1}$ — величина стока в $(n + 1)$-м году.

Пусть $Z_n = H_n - \bar H$, где средний уровень $\bar H$ известен из многолетних наблюдений. Предположим, что $S(H) = S(\bar H) + c(H - \bar H)$ — для гладких $S$ это приближённо верно при не очень больших отклонениях. Тогда

Будем считать $\varepsilon_n$ независимыми одинаково нормальными с нулевым средним и дисперсией $\sigma^2$. Эти соотношения при $|\alpha| < 1$ имеют единственное стационарное (П6) решение

По кирпичикам: уровень этого года — это доля $\alpha$ прошлогоднего отклонения (водоём «помнит», но постепенно забывает) плюс новый случайный приток. Корреляция между годами убывает как $\alpha^n$ — экспоненциально, но не мгновенно.

Интересный практический вывод: оптимальным (в среднеквадратичном смысле в классе линейных функций) прогнозом на следующий год по наблюдениям прошлых лет $\dots, Z_{n-1}, Z_n$ служит просто $\alpha Z_n$. Вся история кроме последнего года для прогноза не нужна.

Проверь себя