§4. Общая линейная гипотеза

Напомним, что в модели (5) неизвестный вектор $\mathbf M\boldsymbol\eta = \boldsymbol X\boldsymbol\theta$ принадлежит заданному подпространству $L(\boldsymbol X)$, порождённому столбцами матрицы $\boldsymbol X$. Более общим образом рассмотрим модель

где (неслучайный) вектор $\boldsymbol\gamma$ неизвестен, но известно, что он лежит в заданном линейном подпространстве $L_0 \subset \mathbb R^n$ размерности $n_0 < n$, а случайный вектор $\boldsymbol\varepsilon \sim \mathcal N(\boldsymbol 0, \sigma^2\boldsymbol E)$.

(Инвариантная, геометрическая форма (22) модели (5) наглядна и удобна в рассуждениях. На практике же требуется та или иная параметризация модели, то есть выбор векторов, порождающих пространство $L_0$.)

Проверяемая гипотеза $H$ состоит в том, что $\boldsymbol\gamma$ лежит в некотором подпространстве $L_1 \subset L_0$, $\dim L_1 = n_1 < n_0$. (Подчеркнём, что исходные предположения относительно модели — в частности, что $\boldsymbol\gamma$ принадлежит $L_0$ — сомнению не подвергаются. Их иногда называют основными предположениями.)

Критерий для проверки гипотезы $H$ естественно строить, основываясь на сравнении расстояний от $\boldsymbol\eta$ до подпространств $L_0$ и $L_1$. Введём обозначения $D_0 = |\boldsymbol\eta - \Pi_{L_0}\boldsymbol\eta|^2$, $D_1 = |\boldsymbol\eta - \Pi_{L_1}\boldsymbol\eta|^2$, где $\Pi_{L_0}$ и $\Pi_{L_1}$ — проекторы на подпространства $L_0$ и $L_1$ соответственно.

Так как векторы $\boldsymbol\eta - \Pi_{L_0}\boldsymbol\eta$ и $\Pi_{L_0}\boldsymbol\eta - \Pi_{L_1}\boldsymbol\eta$ ортогональны, то по «теореме Пифагора»

Теорема 4. При выполнении гипотезы $H$ статистика

$$R = \frac{D_{01}/(n_0 - n_1)}{D_0/(n - n_0)} \sim F_{n_0-n_1,\,n-n_0}, \tag{24}$$

то есть $R$ распределена по закону Фишера — Снедекора с $n_0 - n_1$ и $n - n_0$ степенями свободы (см. пример 1 гл. 14).

Отсюда получаем F-критерий Фишера, отвергающий гипотезу $H$ на уровне значимости $\alpha$, если наблюдаемое значение статистики $R$ превосходит $(1 - \alpha)$-квантиль закона $F_{n_0-n_1,\,n-n_0}$ (см. табл. T5).

Доказательство теоремы 4. Согласно модели (22) и условию $\boldsymbol\gamma \in L_0$ запишем

то есть вектор $\boldsymbol\eta - \Pi_{L_0}\boldsymbol\eta$ является проекцией $\boldsymbol\varepsilon$ на ортогональное дополнение $L_0^\perp$ к подпространству $L_0$ ($L_0 \oplus L_0^\perp = \mathbb R^n$, $\dim L_0^\perp = n - n_0$). Поэтому согласно лемме 1 случайная величина $\sigma^{-2}D_0$ имеет хи-квадрат распределение с $n - n_0$ степенями свободы (независимо от того, верна или нет гипотеза $H\colon \boldsymbol\gamma \in L_1$).

В силу тех же условий (22) и $\boldsymbol\gamma \in L_0$ верно равенство $\Pi_{L_0}\boldsymbol\eta = \boldsymbol\gamma + \Pi_{L_0}\boldsymbol\varepsilon$. Если гипотеза $H$ справедлива, то $\Pi_{L_1}\boldsymbol\eta = \boldsymbol\gamma + \Pi_{L_1}\boldsymbol\varepsilon$. Тогда из равенства (23) получаем: $D_{01} = |\Pi_{L_0}\boldsymbol\varepsilon - \Pi_{L_1}\boldsymbol\varepsilon|^2$. Очевидно, вектор $\Pi_{L_0}\boldsymbol\varepsilon - \Pi_{L_1}\boldsymbol\varepsilon$ является проекцией вектора $\boldsymbol\varepsilon$ на ортогональное дополнение $L_{01}^\perp$ подпространства $L_1$ до $L_0$ ($L_1 \oplus L_{01}^\perp = L_0$, $\dim L_{01}^\perp = n_0 - n_1$). Так как $L_{01}^\perp$ и $L_0^\perp$ ортогональны, то в силу леммы 1 случайные величины $D_{01}$ и $D_0$ независимы, причём $\sigma^{-2}D_{01} \sim \chi^2_{n_0-n_1}$. Следовательно, согласно определению распределения Фишера — Снедекора статистика $R$ распределена по закону $F_{n_0-n_1,\,n-n_0}$. $\blacksquare$

Смысл по-пацански: две модели — большая ($L_0$) и урезанная ($L_1$). Насколько урезанная хуже подгоняет данные? $D_{01}$ — «цена урезания», $D_0$ — честный шум. Если урезание стоит не больше шума, урезанной модели хватает. $R$ — это отношение «цены» к «шуму» в расчёте на одну степень свободы.

Выведем из теоремы 4 несколько важных следствий.

1. Однофакторный дисперсионный анализ

Множество наблюдений $\eta_{ij}$ представляет собой совокупность групп наблюдений $\Delta_j$ ($j = 1, \dots, k$) по $n_j > 1$ наблюдений в $\Delta_j$. Всего $N = n_1 + \dots + n_k$ наблюдений. Мы предполагаем, что

где параметры $\mu_1, \dots, \mu_k$ неизвестны, а все ошибки $\varepsilon_{ij}$ независимы и одинаково распределены по закону $\mathcal N(0, \sigma^2)$. Тем самым отклик $\eta$ зависит от фактора с $k$ уровнями. Для оценки этого влияния на каждом из уровней фактора проводится несколько независимых наблюдений.

Рассматривая $\eta_{ij}$ как компоненты вектора $\boldsymbol\eta$ (записав их в порядке номеров групп $\Delta_j$, $j = 1, \dots, k$), приведём модель (25) к виду (5):

Покажем, как с помощью $F$-критерия можно проверить гипотезу однородности $H''\colon \mu_1 = \dots = \mu_k$ (см. пример 2 гл. 16). Ей соответствует подпространство $L_1$ в $\mathbb R^N$, порождаемое вектором $(1, \dots, 1)^T$, $\dim L_1 = 1$.

Ортогональным базисом подпространства $L_0 = L(\boldsymbol X)$, очевидно, служат столбцы $\boldsymbol x_1, \dots, \boldsymbol x_k$ $(N\times k)$-матрицы $\boldsymbol X$ из формулы (26), $\dim L_0 = k$. Найдём проекцию вектора $\boldsymbol\eta$ на $L_0$:

Величина $D_0 = |\boldsymbol\eta - \Pi_{L_0}\boldsymbol\eta|^2$ при этом представляется в виде

Аналогично нетрудно установить, что

Сравнение с формулами (11) и (13) из примера 2 гл. 16 показывает, что $D_0 = V_{int}$, $D_1 = V_{tot}$. Из формул (12)–(13) гл. 16 следует, что $D_{01} = V_{out}$. Наконец, в силу теоремы 4 имеем

что было доказано непосредственно ранее в гл. 16. (Схему двухфакторного дисперсионного анализа из примера 1 гл. 17 также можно представить в виде линейной регрессионной модели (5).)

Смысл по-пацански: дисперсионный анализ — не отдельная наука, а та же регрессия, только предикторы — «галочки» принадлежности к группе. Большая модель: «у каждой группы своё среднее». Урезанная: «среднее у всех одно».

2. Адекватность вида зависимости

Любую непрерывную зависимость между $Y$ и $X$, где $X$ принимает значения из некоторого отрезка, можно, согласно теореме Вейерштрасса, сколь угодно точно равномерно приблизить алгебраическим многочленом подходящей степени (см. §2 гл. 5). Аналогично, периодическая непрерывная функция аппроксимируется тригонометрическими многочленами.

Обобщая пример 2, рассмотрим некоторую систему базисных функций $\{\varphi_1(x), \varphi_2(x), \dots\}$ на $[-1, 1]$, скажем,

Ограничиваясь начальным набором из $m$ функций, приходим к исследованию зависимости вида

Выбирая на $[-1, 1]$ «узлы» $u_j$ ($j = 1, \dots, k$), произведём в каждом из них по $n_j > 1$ «зашумлённых» измерений зависимости (28) (всего $N = n_1 + \dots + n_k$ измерений). Для описания проведённого эксперимента используем модель

где случайные ошибки $\varepsilon_{ij}$ независимы и одинаково распределены по закону $\mathcal N(0, \sigma^2)$.

Составим из величин $\eta_{ij}$ вектор $\boldsymbol\eta$ в порядке возрастания $j$ от 1 до $k$ (см. левую часть (26)). Столбец с номером $l$ ($l = 1, \dots, m$) $(N\times m)$-матрицы плана эксперимента $\boldsymbol X$ будет выглядеть следующим образом:

Допустим, что «узлы» $u_1, \dots, u_k$ выбраны так, что для заданных базисных функций $\varphi_1(x), \dots, \varphi_m(x)$ векторы $\boldsymbol x_1, \dots, \boldsymbol x_m$ линейно независимы.

Для проверки гипотезы об адекватности системы базисных функций возьмём в качестве $L_1$ подпространство $L(\boldsymbol X)$, порождённое векторами $\boldsymbol x_1, \dots, \boldsymbol x_m$, $\dim L_1 = m$. При этом, очевидно, $D_1 = RSS$.

В качестве подпространства $L_0$ используем подпространство, порождённое столбцами матрицы из правой части (26), $\dim L_0 = k$. Величина $D_0$ для него задаётся формулой (27). Почему $L_1 \subset L_0$ при $m < k$ — вопрос 2.

При справедливости гипотезы адекватности в силу теоремы 4

Пример проверки гипотезы адекватности см. в задаче 4.

По кирпичикам: $D_0$ — это «чистая ошибка»: разброс повторных измерений в одном и том же узле, ему никакая модель не нужна. $RSS - D_0$ — «ошибка подгонки»: насколько модель промахивается мимо средних по узлам. Если промахи модели сравнимы с чистым шумом, модель адекватна.

Смысл по-пацански: без повторных измерений ты не знаешь, кто виноват в остатках — шум или кривая модель. Повторы в каждом узле дают «эталон шума», и модель проверяется на честность против него.

3. Понижение размерности модели

Гипотеза $H'$ допустимости понижения размерности состоит в том, что в модели (5) компоненты $\theta_{m'+1}, \dots, \theta_m$ ($m' < m$) параметрического вектора $\boldsymbol\theta$ можно считать равными нулю. Покажем, что она также является частным случаем общей линейной гипотезы.

Поскольку $\mathbf M\boldsymbol\varepsilon = \boldsymbol 0$ (см. Д2 в §2), то $\boldsymbol\gamma = \mathbf M\boldsymbol\eta \in L(\boldsymbol X)$, где $L(\boldsymbol X) = L(\boldsymbol x_1, \dots, \boldsymbol x_m)$ — подпространство, порождённое столбцами $\boldsymbol x_1, \dots, \boldsymbol x_m$ матрицы $\boldsymbol X$. Возьмём $L(\boldsymbol X)$ в качестве $L_0$, $\dim L_0 = m$. Гипотеза $H'\colon \theta_{m'+1} = \dots = \theta_m = 0$ означает, что $\boldsymbol\gamma$ лежит в меньшем подпространстве $L_1 = L(\boldsymbol x_1, \dots, \boldsymbol x_{m'})$, $\dim L_1 = m' < m$.

Вычислим $D_0$ и $D_{01}$. Из определения МНК-оценки $\hat{\boldsymbol\theta}$ следует (см. формулы (14)), что

Отсюда $D_0 = |\boldsymbol\eta - \Pi_{L_0}\boldsymbol\eta|^2 = |\Pi_{L_0^\perp}\boldsymbol\eta|^2 = |\hat{\boldsymbol\delta}|^2 = RSS$.

Чтобы найти $D_{01}$, предположим, что векторы $\boldsymbol x_1, \dots, \boldsymbol x_m$ ортогональны. (Если это условие не выполняется, перейдём к ортогональному базису в $L_0$ по формулам (9). С учётом того, что ортогонализационная матрица $\boldsymbol A$ является верхнетреугольной, равенство $\theta'_{m'+1} = \dots = \theta'_m = 0$ влечёт $\theta_{m'+1} = \dots = \theta_m = 0$. Так как обратная к верхнетреугольной матрица — также верхнетреугольная, то верно и обратное. Поэтому гипотезу $H'$ достаточно проверить в ортогональной модели.)

Обозначим через $L_{01}^\perp$ ортогональное дополнение $L_1$ до $L_0$: $L_1 \oplus L_{01}^\perp = L_0$, $\dim L_{01}^\perp = m - m'$. Тогда $L_{01}^\perp = L(\boldsymbol x_{m'+1}, \dots, \boldsymbol x_m)$ в силу ортогональности базисных векторов. Из формулы (32) вытекает, что

Подставляя равенства (32) и (33) в формулу (23), находим

Таким образом, при выполнении гипотезы $H'$ (24) преобразуется в

Примеры проверки гипотезы $H'$ приведены в задачах 5 и 6.

Замечание 7. Дополнительным преимуществом ортогональной модели является то, что в силу соотношения (8) при переходе к модели размерности $m' < m$ не надо пересчитывать оценки параметров $\theta_1, \dots, \theta_{m'}$.

Смысл по-пацански: хочешь выкинуть лишние коэффициенты — проверь, что они «весят» меньше шума. В ортогональном базисе «вес» каждого — просто $\hat\theta_j^2|\boldsymbol x_j|^2$, и остальные оценки при выкидывании даже не шелохнутся.

Проверь себя