§1. Статистическая модель: угадай, где кончается отрезок

До сих пор мы знали закон и штамповали по нему числа. Теперь садимся по ту сторону стола: числа на руках, а закон известен не до конца. Это и есть работа статистика.

Эксперимент

Пусть $\theta$ — неизвестное положительное число. Вот координаты десяти точек, взятых наугад из отрезка $[0, \theta]$ (с точностью до 0,1):

Они получены по формуле $x_i = \theta\, y_i$, где $y_i$ — псевдослучайные числа из главы 2. Попробуй угадать $\theta$.

Пара вопросов на разогрев. Может ли $\theta$ равняться 28? Нет: точка $30{,}1$ уже правее, а все точки лежат на $[0, \theta]$. А 100? Формально может, но тогда все десять точек случайно сбились в левую треть отрезка. Шанс этого $(30{,}1/100)^{10} \approx 6 \cdot 10^{-6}$ — как выиграть в лотерею, не покупая билет.

Модель на языке математики

Формально данные $x_1, \dots, x_{10}$ — это реализация независимых величин $X_i$, равномерно распределённых на $[0, \theta]$, с функцией распределения

Здесь $\theta \in \Theta = (0, +\infty)$ — неизвестный параметр масштаба: он растягивает отрезок, не меняя формы закона.

Статистическая модель — это семейство функций распределения $\{F_\theta(x),\ \theta \in \Theta\}$, где $\Theta$ — множество возможных значений параметра. Данные $x_1, \dots, x_n$ считаются реализацией выборки $X_1, \dots, X_n$ из закона $F_{\theta_0}$ при некотором неизвестном $\theta_0 \in \Theta$. Задача — по выборке оценить $\theta_0$ как можно точнее.

По кирпичикам:

• семейство — не один закон, а целая пачка, по одному на каждое $\theta$;
• выборка — $n$ независимых величин с одним и тем же законом;
• $\theta_0$ — «правильный» закон из пачки, по которому реально получены данные.

Если вспомнить метод обратной функции из главы 4, картинка совсем простая. Кто-то загадал $\theta_0$ и прогнал псевдослучайные числа $y_i$ через $x_i = F_{\theta_0}^{-1}(y_i)$. Тебе показали только выход — $x_i$. Надо восстановить настройку мясорубки.

Смысл по-пацански: барыга знает, сколько товара у него на складе, а ты видишь только то, что он вынес на рынок. По вынесенному надо прикинуть склад.

Оценка — это формула от выборки

Будем оценивать $\theta_0$ какой-нибудь функцией $\hat\theta(x_1, \dots, x_n)$ от наблюдений. Крышечка над буквой — знак «это оценка, а не сама величина». Для нашей модели напрашиваются две формулы:

Откуда они:

• $\hat\theta_1$ — самая правая точка. Правый край не левее неё, а при большом $n$ какая-то точка ляжет совсем рядом с краем.
• $\hat\theta_2$ — удвоенное среднее. Центр отрезка $[0, \theta]$ стоит в $\theta / 2$, и среднее точек крутится около центра. Удвоил — получил край.

Для наших данных: $\hat\theta_1 = 30{,}1$, а $\hat\theta_2 = 2 \cdot 14{,}03 = 28{,}06$. Заметь, удвоенное среднее оказалось левее самой правой точки — заведомо мимо, ведь $\theta \ge 30{,}1$. Интуитивно понятно, что при росте $n$ обе оценки будут подбираться к $\theta_0$. Но какая точнее? И как вообще сравнивать оценки? Этим займётся вся глава.

Есть и третья кандидатура, к которой мы придём в §2–§3: чуть подвинуть максимум вправо,

Для наших данных $\hat\theta_3 = 1{,}1 \cdot 30{,}1 = 33{,}11$.

Сыграй сам

Виджет загадывает $\theta$ и показывает только точки. Поставь свою догадку, вскрой и сравни с тремя формулами. Поиграй несколько раундов: обходить $\hat\theta_3$ стабильно получается редко.

Посчитаем оценки по нашим данным кодом. Ответ, кстати, известен: выборка получена умножением на $\theta_0 = 35$.

В этот раз выиграл $\hat\theta_3$, а удвоенное среднее промахнулось сильнее всех и даже легло левее точки $30{,}1$. Но одна выборка — не доказательство. Чтобы сравнивать оценки честно, нужно смотреть, как они ведут себя на всех возможных выборках, то есть как случайные величины. Об этом §2.

Проверь себя