§3. Статистические свойства МНК-оценок

МНК-оценки параметров в линейной регрессионной модели (5) при выполнении допущений Д1 и Д2 обладают рядом важных свойств.

Утверждение 1.

1. Оценка $\hat{\boldsymbol\theta}$, задаваемая формулой (7), является несмещённой, то есть $\mathbf M\hat{\boldsymbol\theta} = \boldsymbol\theta$.
2. Матрицей ковариаций $\mathbf{Cov}(\hat{\boldsymbol\theta}) = \|\operatorname{cov}(\hat\theta_k, \hat\theta_l)\|_{m\times m}$ служит матрица $\sigma^2\boldsymbol B^{-1}$.
3. Для любого вектора $\boldsymbol c \in \mathbb R^m$ несмещённой оценкой для величины $\boldsymbol c^T\boldsymbol\theta$ служит $\boldsymbol c^T\hat{\boldsymbol\theta}$, причём $\mathbf D\boldsymbol c^T\hat{\boldsymbol\theta} = \sigma^2\boldsymbol c^T\boldsymbol B^{-1}\boldsymbol c$.

Доказательство. Воспользуемся формулами из П2

где $\boldsymbol\xi = (\xi_1, \dots, \xi_m)^T$ — произвольный случайный вектор, для которого определены $\mathbf M\boldsymbol\xi$ и $\mathbf{Cov}(\boldsymbol\xi)$, $\boldsymbol A$ — числовая $(k\times m)$-матрица. Применим формулы (12) к (7) с учётом того, что для вектора ошибок $\boldsymbol\varepsilon$ в модели (5) выполняются равенства $\mathbf M\boldsymbol\varepsilon = \boldsymbol 0$, $\mathbf{Cov}(\boldsymbol\varepsilon) = \sigma^2\boldsymbol E$:

Свойство 3 сразу следует из свойства 2 и второй из формул (12). $\blacksquare$

Смысл по-пацански: МНК в среднем бьёт точно в цель, а разброс его оценок задаётся матрицей $\sigma^2(\boldsymbol X^T\boldsymbol X)^{-1}$. Чем «шире» расставлены точки плана, тем больше $\boldsymbol X^T\boldsymbol X$ и тем меньше разброс. Поэтому для оценки наклона точки ставят по краям, а не в кучку.

Замечание 4. В случае, когда столбцы $\boldsymbol x_1, \dots, \boldsymbol x_m$ матрицы $\boldsymbol X$ ортогональны друг другу, из свойства 2 вытекает, что $\mathbf D\hat\theta_l = \sigma^2/|\boldsymbol x_l|^2$, $l = 1, \dots, m$. Оказывается, что в общем случае $\mathbf D\hat\theta_l \ge \sigma^2/|\boldsymbol x_l|^2$, причём равенство при всех $l$ достигается только для ортогональных столбцов. Тем самым так называемое ортогональное планирование эксперимента, при котором столбцы матрицы $\boldsymbol X$ выбираются ортогональными, является в приведённом выше смысле оптимальным.

Для получения более содержательных заключений о распределении оценки $\hat{\boldsymbol\theta}$ предположим, что выполняется допущение

Д3. Вектор $\boldsymbol\varepsilon$ имеет нормальное распределение (см. П9).

Замечание 5. Если верны допущения Д1–Д2, то при любом векторе $\boldsymbol c \in \mathbb R^m$ оценка $\boldsymbol c^T\hat{\boldsymbol\theta}$ имеет минимальную дисперсию в классе линейных (вида $\boldsymbol d^T\boldsymbol\eta$) несмещённых оценок для $\boldsymbol c^T\boldsymbol\theta$ (это теорема Гаусса — Маркова), а при справедливости также и допущения Д3 этот класс можно расширить до множества произвольных несмещённых оценок.

Лемма о проекциях

Обозначим через $\Pi_L$ оператор проецирования (проектор) на подпространство $L$ в $\mathbb R^n$ (то есть $\Pi_L\boldsymbol x$ — это проекция вектора $\boldsymbol x$ на $L$), а через $\dim L$ — размерность $L$ (по-английски dimension). В дальнейшем важную роль будет играть

Лемма 1. Пусть случайный вектор $\boldsymbol\xi \sim \mathcal N(\boldsymbol 0, \sigma^2\boldsymbol E)$ (см. П9), а два подпространства $L_1$ и $L_2$ в $\mathbb R^n$ ортогональны между собой ($L_1 \perp L_2$). Тогда векторы $\Pi_{L_1}\boldsymbol\xi$ и $\Pi_{L_2}\boldsymbol\xi$ независимы и нормально распределены, причём случайная величина $\sigma^{-2}|\Pi_{L_k}\boldsymbol\xi|^2$ ($k = 1, 2$) имеет хи-квадрат распределение с $n_k = \dim L_k$ степенями свободы.

Доказательство. Так как проецирование — это линейное преобразование, проекция нормального вектора $\boldsymbol\xi$ также будет иметь многомерное нормальное распределение (П9). Если $\boldsymbol\zeta = \boldsymbol C\boldsymbol\xi$, где $\boldsymbol C$ — ортогональная матрица, то согласно лемме 1 главы 11 $\boldsymbol\zeta \sim \mathcal N(\boldsymbol 0, \sigma^2\boldsymbol E)$. Это означает, что если в каком-нибудь ортонормированном базисе случайный вектор имеет независимые $\mathcal N(0, \sigma^2)$ компоненты, то этим свойством он обладает в любом таком базисе.

Для завершения доказательства леммы выберем в $\mathbb R^n$ ортонормированный базис $\boldsymbol e_1, \dots, \boldsymbol e_n$, у которого первые $n_1$ векторов лежат в $L_1$, а следующие $n_2$ векторов — в $L_2$. Тогда

где коэффициенты $\boldsymbol e_i^T\boldsymbol\xi$ — это координаты $\boldsymbol\xi$ в базисе $\boldsymbol e_1, \dots, \boldsymbol e_n$. $\blacksquare$

Смысл по-пацански: у «круглого» нормального шума нет любимых направлений. Разрежь пространство на перпендикулярные куски — и проекции шума на них окажутся независимыми, а квадрат длины каждой — хи-квадратом с числом степеней свободы, равным размерности куска.

Теорема 1 и доверительные интервалы

Для построения доверительных интервалов потребуется

Теорема 1. В случае выполнения допущений Д1–Д3 для линейной регрессионной модели (5) верны следующие утверждения.

1. Случайная величина $\sigma^{-2}RSS = \sigma^{-2}|\boldsymbol\eta - \boldsymbol X\hat{\boldsymbol\theta}|^2$ имеет распределение хи-квадрат с $n - m$ степенями свободы и не зависит от оценки $\hat{\boldsymbol\theta}$ и, поскольку $\mathbf M(\sigma^{-2}RSS) = n - m$ (см. вопрос 3 гл. 11), статистика $\hat\sigma^2 = RSS/(n - m)$ несмещённо оценивает неизвестную дисперсию $\sigma^2$.
2. Для любого вектора $\boldsymbol c \in \mathbb R^m$ случайная величина

$$\boldsymbol c^T(\hat{\boldsymbol\theta} - \boldsymbol\theta)\Big/\Bigl[\hat\sigma\sqrt{\boldsymbol c^T\boldsymbol B^{-1}\boldsymbol c}\Bigr] \tag{13}$$

распределена по закону Стьюдента $t_{n-m}$ с $(n - m)$ степенями свободы (определение $t_k$ дано в примере 4 гл. 11).

Доказательство. Рассмотрим проекции вектора $\boldsymbol\eta$ на подпространство $L(\boldsymbol X)$ и на его ортогональное дополнение $L^\perp(\boldsymbol X)$ до $\mathbb R^n$. Из определения МНК-оценки $\hat{\boldsymbol\theta}$ вытекает, что

где $\hat{\boldsymbol\delta} = \boldsymbol\eta - \boldsymbol X\hat{\boldsymbol\theta}$ — вектор остатков. Подставляя модель (5) в формулы (14) и учитывая, что $\boldsymbol X\boldsymbol\theta \in L(\boldsymbol X)$, получаем

Умножая обе части равенства (15) на матрицу $\boldsymbol B^{-1}\boldsymbol X^T$ слева, приходим к равенству

так как $\boldsymbol B^{-1}\boldsymbol X^T\boldsymbol X = \boldsymbol B^{-1}\boldsymbol B = \boldsymbol E$. Из формул (16) и (17) на основании леммы 1 заключаем, что оценки $\hat{\boldsymbol\delta}$ и $\hat{\boldsymbol\theta}$ независимы. Поскольку $RSS = |\hat{\boldsymbol\delta}|^2$, в силу леммы о независимости из гл. 1 отсюда вытекает также независимость $RSS$ и $\hat{\boldsymbol\theta}$ ($\hat\sigma$ и $\hat{\boldsymbol\theta}$). С учётом леммы 1 и формулы (16) видим, что случайная величина $\sigma^{-2}RSS \sim \chi^2_{n-m}$ (так как $\dim L^\perp(\boldsymbol X) = n - m$).

Перейдём к доказательству пункта 2. Из формулы (17) следует, что случайный вектор $\hat{\boldsymbol\theta}$, будучи линейным преобразованием нормального вектора $\boldsymbol\varepsilon$, сам является нормальным. Поэтому для любого $\boldsymbol c \in \mathbb R^m$ случайная величина $\boldsymbol c^T\hat{\boldsymbol\theta}$ нормально распределена. В силу утверждения 1

и, как выше установлено, не зависит от $\hat\sigma$. Следовательно, случайная величина (13) имеет распределение Стьюдента $t_{n-m}$. $\blacksquare$

Является ли теорема 1 главы 11 частным случаем доказанной теоремы — вопрос 1.

Смысл по-пацански: $m$ измерений «съедены» подгонкой модели, остальные $n - m$ — это чистый шум, из него и оцениваем $\sigma$. Отсюда делитель $n - m$ и столько же степеней свободы у Стьюдента.

На основе теоремы 1 построим методом 1 из §3 гл. 11 доверительные интервалы для $\sigma$, компонент вектора $\boldsymbol\theta$ и значения целевой переменной $Y$ в заданной точке $(x_1^0, \dots, x_m^0)$.

Пусть $z_p$ обозначает $p$-квантиль закона $\chi^2_{n-m}$ (см. §3 гл. 7). Тогда в силу теоремы 1

Разрешая неравенство в формуле (18) относительно $\sigma$, получаем для него доверительный интервал с коэффициентом доверия $1 - \alpha$ вида

Пусть $y_p$ обозначает $p$-квантиль закона $t_{n-m}$. В силу симметрии закона Стьюдента верно равенство $y_{1-\alpha/2} = -y_{\alpha/2}$. Взяв в качестве $\boldsymbol c$ вектор, у которого $l$-я компонента равна 1, а остальные равны 0, находим из (13) границы $(1 - \alpha)$-доверительного интервала для $\theta_l$:

где $d_{ll}$ — диагональный элемент матрицы $\boldsymbol D = \boldsymbol B^{-1}$.

Наконец, задавая $\boldsymbol c = (x_1^0, \dots, x_m^0)^T$, для $\theta_1x_1^0 + \dots + \theta_mx_m^0$ получаем $(1 - \alpha)$-доверительный интервал с границами

Пример 4. Прямая с выбросом

Данные в таблице ниже представляют собой «зашумлённые» значения линейной зависимости $Y = a + bX$ (упрощённый вариант примера из книги [63] у Лагутина). Ошибки $\varepsilon_i \sim \mathcal N(0, \sigma^2)$ моделировались при помощи датчика нормальных случайных чисел (см. §5 гл. 4). В каждом из «узлов» $u_l = -1 - 1/10 + l/5$ ($l = 1, \dots, 10$) ошибки добавлялись дважды. Поэтому матрица $\boldsymbol X$ состоит из двух столбцов длины 20: $\boldsymbol x_1 = (1, \dots, 1)^T$ и $\boldsymbol x_2 = (u_1, u_1, u_2, u_2, \dots, u_{10}, u_{10})^T$. Кроме того, одно из значений $\eta_i = a + bx_i + \varepsilon_i$ было заменено на «выброс».

Задача состоит в вычислении МНК-оценок неизвестных параметров $a$, $b$ и $\sigma$, обнаружении «выброса» и построении 95 %-ных доверительных интервалов для параметров и значения прямой в точке предполагаемого «выброса».

Прежде всего обратим внимание на то, что благодаря симметрии расположения «узлов» относительно нуля столбцы $\boldsymbol x_1$ и $\boldsymbol x_2$ ортогональны. Поэтому для нахождения оценок $\hat a$ и $\hat b$ можно воспользоваться формулами (8). Получим $\hat a \approx 0{,}535$, $\hat b \approx -0{,}5$. Нетрудно подсчитать, что $RSS = \sum(\eta_i - \hat a - \hat bx_i)^2 \approx 0{,}23$. Отсюда $\hat\sigma = \sqrt{RSS/(n - m)} \approx 0{,}11$ ($n = 20$, $m = 2$).

Из табл. T3 для $\chi^2_{18}$ находим квантили $z_{0{,}025} = 8{,}23$ и $z_{0{,}975} = 31{,}5$. Используя формулу (19), для параметра $\sigma$ получаем доверительный интервал $(0{,}08;\ 0{,}17)$.

Из табл. T4 берём $y_{0{,}975} = 2{,}101$ для $t_{18}$. По формуле (20) вычисляем границы 95 %-ных доверительных интервалов $(0{,}48;\ 0{,}59)$ и $(-0{,}59;\ -0{,}41)$ для $a$ и $b$ соответственно.

Наибольшую величину имеет остаток $\delta_{18} = 0{,}46 - 0{,}18 = 0{,}28$ (он больше, чем $2\hat\sigma \approx 0{,}22$). С помощью формулы (21) получаем интервал $(0{,}10;\ 0{,}27)$ для значения прямой в $u_9$. Поскольку наблюдение 0,46 находится вблизи границы $0{,}27 + 0{,}22 = 0{,}49$, то оно, вероятно, является «выбросом».

Все эти числа виджет воспроизводит точно:

Код печатает нижнюю границу интервала для $\sigma$ как 0,09 и $2\hat\sigma$ как 0,23: точные значения 0,085 и 0,226, а в книге они округлены вниз (0,08 и $2\cdot0{,}11 = 0{,}22$).

Смысл по-пацански: подозрительную точку ловим не «на глазок», а по линейке: доверительная полоса для прямой плюс два стандартных отклонения шума. Точка 0,46 у самой границы этой зоны — под подозрением.

Асимптотика без нормальности

Замечание 6. Ответ на вопрос об асимптотическом распределении МНК-оценки $\hat{\boldsymbol\theta}$ при увеличении числа наблюдений даёт следующая теорема.

Теорема 2. Потребуем, чтобы помимо выполнения допущений Д1–Д2 ошибки $\varepsilon_i$ были независимы. Тогда, если матрица $n^{-1}\boldsymbol B = n^{-1}\boldsymbol X^T\boldsymbol X$ при $n \to \infty$ стремится к положительно определённой матрице $\boldsymbol\Sigma$, то

$$\sqrt n(\hat{\boldsymbol\theta} - \boldsymbol\theta) \xrightarrow{d} \boldsymbol\xi \sim \mathcal N(\boldsymbol 0, \sigma^2\boldsymbol\Sigma^{-1}).$$

Выведем этот результат из теоремы 3, обобщающей теорему 1 из решения задачи 6 гл. 15.

Теорема 3. Пусть $\varepsilon_1, \varepsilon_2, \dots$ — независимые и одинаково распределённые случайные величины, причём $\mathbf M\varepsilon_1 = 0$, $\mathbf D\varepsilon_1 = \sigma^2$, $0 < \sigma < \infty$. Пусть $\boldsymbol A = \|a_{il}\|_{n\times m}$, $\boldsymbol\varepsilon = (\varepsilon_1, \dots, \varepsilon_n)^T$. Положим $\boldsymbol\xi_n = n^{-1/2}\boldsymbol A^T\boldsymbol\varepsilon$. Если $n^{-1}\boldsymbol A^T\boldsymbol A$ стремится к положительно определённой матрице $\boldsymbol\Lambda$, то

$$\boldsymbol\xi_n \xrightarrow{d} \boldsymbol\xi \sim \mathcal N(\boldsymbol 0, \sigma^2\boldsymbol\Lambda) \quad\text{при } n \to \infty.$$

Доказательство теоремы 2. Подставим модель (5) в формулу (7):

и перепишем результат в виде $\sqrt n(\hat{\boldsymbol\theta} - \boldsymbol\theta) = \sqrt n\boldsymbol B^{-1}\boldsymbol X^T\boldsymbol\varepsilon = n^{-1/2}\boldsymbol A^T\boldsymbol\varepsilon$, где $\boldsymbol A^T = n\boldsymbol B^{-1}\boldsymbol X^T$. Поскольку

то остаётся воспользоваться теоремой 3 (её доказательство можно найти в книге [86] у Лагутина). $\blacksquare$

Проверим на моделировании, что из этого следует на практике:

Смысл по-пацански: для коэффициентов нормальность шума — не догма: ЦПТ спасает, и интервал (20) держит свои 95 % даже на «хвостатых» ошибках. А вот интервал для $\sigma$ построен на точном законе $\chi^2$ — без нормальности он врёт, и сильно.

Проверь себя