§1. Подгонка прямой

Проиллюстрируем основные идеи регрессии на примере подгонки прямой под «облако» экспериментальных точек $(x_i, \eta_i)$, полученных в соответствии с моделью

Здесь коэффициенты прямой $a$ и $b$ — неизвестные параметры, $x_i$ — (неслучайные) значения предиктора $X$ (для простоты допустим, что $x_i \ne x_j$), $\varepsilon_i$ — независимые и одинаково распределённые случайные ошибки, $\mathbf M\varepsilon_i = 0$. Для нахождения оценок коэффициентов $a$ и $b$ применим

Метод наименьших квадратов (МНК)

Естественным условием точности подгонки пробной прямой $y = \alpha + \beta x$ служит близость к нулю всех остатков $\delta_i(\alpha, \beta) = \eta_i - \alpha - \beta x_i$. Общую меру близости к нулю можно выбирать по-разному (например, $\max|\delta_i|$ или $\sum|\delta_i|$), но наиболее простые формулы для оценок $\hat a$ и $\hat b$ получаются, если в качестве такой меры взять

Минимум $F(\alpha, \beta)$ достигается (задача 1) в точке $(\hat a, \hat b)$, где

По кирпичикам: $\hat b$ — выборочная ковариация $x$ и $\eta$, делённая на выборочную дисперсию $x$. А $\hat a = \bar\eta - \hat b\bar x$ означает, что МНК-прямая всегда проходит через центр масс облака $(\bar x, \bar\eta)$.

Метод наименьших квадратов был впервые опубликован в 1805 г. А. М. Лежандром (1752–1833, французский математик) в работе, посвящённой нахождению орбит комет. К. Гаусс утверждал, что использовал МНК ещё до 1803 г. (некоторые детали спора о приоритете между Лежандром и Гауссом приведены в литературе по истории статистики).

Смысл по-пацански: подбираем прямую, чтобы сумма квадратов «промахов» по вертикали была минимальной. Квадраты — потому что с ними всё дифференцируется и решается в одну строчку. Платим за это, как увидим, нервной реакцией на выбросы.

Замечание 1. Прямая, подогнанная под «облако» точек МНК, вообще говоря, отличается от первой главной компоненты (см. §1 главы 20). Дело в том, что при построении главной компоненты переменные $X$ и $Y$ считаются равноправными, и минимизируется сумма квадратов длин отрезков, перпендикулярных компоненте, а не направленных вдоль оси $Y$, как в случае МНК.

Недостатком метода наименьших квадратов является излишняя чувствительность МНК-оценок к выделяющимся наблюдениям («выбросам»), возникающая вследствие зависимости меры $F$ не от самих остатков $\delta_i$, а от их квадратов. Стремление уменьшить остатки в точках «выбросов» может привести к значительному смещению оценок параметров. Так, если переместить вверх одну точку, чтобы уменьшить её квадрат остатка, МНК-прямая довольно сильно повернётся.

Одной из устойчивых к «выбросам» (робастных) альтернатив МНК может служить

Метод Тейла

В этом методе оценки коэффициентов прямой задаются следующими формулами:

Причина робастности метода Тейла кроется в том, что одиночный «выброс» может исказить самое большее $(n - 1)$ оценок $(\eta_j - \eta_i)/(x_j - x_i)$ коэффициента наклона $b$, в то время как медиана вычисляется по $n(n-1)/2$ оценкам.

Смысл по-пацански: проводим прямую через каждую пару точек и устраиваем голосование: какой наклон «средний»? Один чудак-выброс участвует только в своих $n - 1$ парах, а голосов всего $n(n-1)/2$ — его не слышно.

Подвигай красную точку вверх-вниз: МНК-прямая поворачивается за ней как привязанная, а прямая Тейла почти не шелохнётся. И сравни обе с зелёной главной компонентой: она наклонена круче, потому что меряет промахи перпендикулярно, а не по вертикали.

Пример 1. Закон Хаббла

Дистанции огромного размера…

— Скалозуб в «Горе от ума» А. С. Грибоедова

Закон Хаббла в астрономии гласит: скорость удаления галактики прямо пропорциональна расстоянию до неё. В таблице ниже указаны расстояния $Y$ (в миллионах световых лет) и скорости $X$ (в сотнях миль в секунду) для 11 галактических созвездий.

Требуется подогнать прямую $Y = bX$ к этим данным.

Имеется $11\times10/2 = 55$ попарных наклонов, начиная с наименьшего 0,187 для Льва и Северной Короны. Медиана наклонов $\tilde b = 0{,}359$, оценка метода наименьших квадратов $\hat b = 0{,}353 \approx \tilde b$.

(Уточнение: 0,353 — это наклон МНК-прямой с отрезком $a$, по формуле (3). Для прямой строго через начало координат $Y = bX$ МНК даёт $\hat b = \sum x_i\eta_i/\sum x_i^2 = 0{,}354$ — разница в третьем знаке.)

Смысл по-пацански: галактики разбегаются, и чем дальше — тем быстрее. Отношение «расстояние/скорость» у всех около 0,35, и оба метода сходятся. Когда данные чистые, Тейл и МНК — братья-близнецы; разница видна только при выбросах.

Тейл — это Кендэл, МНК — это Пирсон

Замечание 2. Интересно, что оценка $\tilde b$ в формуле (4) связана с ранговым коэффициентом Кендэла $\tau$ (см. §7 главы 20), причём эта связь аналогична связи МНК-оценки $\hat b$ в формуле (3) с обычным выборочным коэффициентом корреляции $\hat\rho$.

Действительно, занумеруем наблюдения так, что $x_1 < \dots < x_n$. Если из $\eta_i$ вычесть истинные значения $bx_i$, то $\eta_i - bx_i = a + \varepsilon_i$ ($i = 1, \dots, n$) образуют выборку (набор независимых и одинаково распределённых случайных величин). Не зная $b$, будем вычитать из $\eta_i$ величины $\beta x_i$, где $\beta$ меняется по нашему произволу. Чем ближе $\beta$ к $b$, тем больше $\eta_i - \beta x_i$ будут похожи на выборку. В противном случае они будут проявлять тенденцию к возрастанию (или убыванию) вместе с номером $i$ (это зависит от знака $b - \beta$). В этом легко убедиться, записав $\eta_i - \beta x_i$ в виде $\eta_i - \beta x_i = \eta_i - bx_i + x_i(b - \beta) = a + \varepsilon_i + x_i(b - \beta)$, из которого понятно, что в силу возрастания $x_i$ с увеличением $i$ у $\eta_i - \beta x_i$ появляется положительный (или отрицательный) «снос».

Тенденцию к изменению $\eta_i - \beta x_i$ с ростом $i$ (или её отсутствие) можно исследовать с помощью коэффициентов корреляции. Возьмём сначала обычный выборочный коэффициент корреляции $\hat\rho(\beta)$ между рядами $(x_1, \dots, x_n)$ и $(\eta_1 - \beta x_1, \dots, \eta_n - \beta x_n)$:

Наименьшей зависимости $\eta_i - \beta x_i$ от $x_i$ ($i = 1, \dots, n$) соответствует значение $\hat\rho = 0$. По отношению к $\beta$ это даёт уравнение

решением которого и является МНК-оценка $\hat b$ из формулы (3).

В случае коэффициента Кендэла $\tau$ заменим $x_i$ и $\eta_i - \beta x_i$ их рангами $i$ и $T_i$ соответственно. Тогда (см. формулу (24) главы 20)

Правую часть можно переписать также в виде

Рассуждения, аналогичные проведённым в комментарии 3 к критерию знаков из §2 главы 15, показывают, что решением уравнения $\tau(\beta) = 0$ является оценка $\tilde b$, задаваемая формулой (4).

По кирпичикам: $\tau(\beta) = 0$ ровно тогда, когда попарных наклонов больше $\beta$ столько же, сколько меньше, — то есть $\beta$ — их медиана.

Смысл по-пацански: обе оценки отвечают на один вопрос — «при каком наклоне остатки перестают расти вместе с $x$?». МНК спрашивает об этом у Пирсона, Тейл — у Кендэла. Пирсон чувствителен к выбросам — значит, и МНК тоже.

Какими свойствами обладают МНК-оценки? Как вытекает из задачи 2, в случае, когда вектор ошибок $\boldsymbol\varepsilon = (\varepsilon_1, \dots, \varepsilon_n)$ нормально распределён, МНК совпадает с методом максимального правдоподобия (см. §4 главы 9) и, следовательно, является наиболее точным для больших выборок (асимптотически эффективным). Другие статистические свойства МНК-оценок обсуждаются в §3.

Проверь себя