§1. Вероятностная бумага: выпрями кривую — прочитай параметры

Эмпирическая функция распределения

По выборке $X_1, \dots, X_n$ построим случайную ступенчатую функцию $\hat F_n(x)$, которая возрастает скачками величины $\frac1n$ в точках $X_{(i)}$. Она называется эмпирической функцией распределения. Чтобы задать значения в точках разрывов, определим её непрерывной справа:

По кирпичикам: $I_{\{X_i \le x\}}$ — индикатор, равный 1, если точка левее $x$, и 0 иначе. Значит, $\hat F_n(x)$ — доля точек выборки левее $x$.

При фиксированном $x$ каждый индикатор — испытание Бернулли с вероятностью успеха $F(x)$, они независимы, а $\hat F_n(x)$ — частота успехов (вопрос 1). По усиленному закону больших чисел $\hat F_n(x) \to F(x)$ с вероятностью 1. Эмпирическая функция — естественное приближение к теоретической.

Смысл по-пацански: выстроил район по росту и для каждого роста $x$ записал, какая доля пацанов не выше. Получилась лесенка, и чем больше пацанов, тем ближе она к настоящей кривой.

Проблема: сдвиг и масштаб

Пусть $X_1, \dots, X_n$ имеют функцию распределения $F\!\left(\frac{x - \mu}{\sigma}\right)$, где $F$ известна, а параметры сдвига $\mu$ и масштаба $\sigma > 0$ — нет. Как их оценить?

Среди функций двухпараметрического семейства $F((x - \hat\mu)/\hat\sigma)$ надо выбрать ту, что меньше всего отличается от $\hat F_n(x)$. Но из-за нелинейности $F$ сделать это напрямую трудно. Идея — распрямить график $F((x - \mu)/\sigma)$ и подогнать прямую.

Пусть $F$ непрерывна и строго монотонна, тогда у неё есть обратная $F^{-1}$. Посмотрим, во что переходит график $y = F((x - \mu)/\sigma)$ при преобразовании $(x, y) \to (x, F^{-1}(y))$:

График стал прямой $y = (x - \mu)/\sigma$.

Отсюда способ: преобразуем график эмпирической функции $y = \hat F_n(x)$ в $y = F^{-1}(\hat F_n(x))$ и подберём наиболее тесно прилегающую прямую $y = (x - \hat\mu)/\hat\sigma$. Тогда:

• $\hat\mu$ — точка пересечения прямой с осью абсцисс;
• $\hat\sigma$ — котангенс угла наклона (на сколько надо сдвинуться по $x$, чтобы $y$ вырос на 1).

Если $F^{-1}(\hat F_n(x))$ слишком сильно отличается от прямой, предположение, что выборка из семейства $F((x - \mu)/\sigma)$, скорее всего, неверно. Это и есть проверка на глаз.

Для подгонки не нужно строить весь график — достаточно точек $(x_{(i)}, F^{-1}(i/n))$ в местах скачков. Подгонять прямую к такому облаку можно методом наименьших квадратов (глава 21). Чтобы избежать неудобства с точкой $(x_{(n)}, F^{-1}(1)) = (x_{(n)}, +\infty)$, обычно берут точки

Смысл по-пацански: кривую на глаз не подгонишь — где она должна изгибаться, непонятно. А прямую подгоняет любой: приложил линейку, и всё. Поэтому кривую сначала выпрямляем.

Пример

Пример 1. Возьмём первые $n = 10$ чисел $z_i$ из таблицы нормальных случайных чисел и превратим их в выборку из $N(\mu, \sigma^2)$ по формуле $x_i = \mu + \sigma z_i$ при $\mu = 1$, $\sigma = 2$:

Значения $\Phi^{-1}((i - 0{,}5)/n)$:

Точки $(x_{(i)}, \Phi^{-1}((i - 0{,}5)/n))$ и прямая, подогнанная «на глаз», у Лагутина дают $\mu \approx 1{,}2$ и $\sigma \approx 1{,}8$. Прямая по МНК даёт $\hat\mu \approx 1{,}12$ и $\hat\sigma \approx 2{,}23$. Для сравнения, $\bar X = 1{,}12$ и $S = 2{,}16$ — в этой модели это оценки максимального правдоподобия (§4 и задача 2).

Графический анализ позволяет получить довольно точные оценки, несмотря на малый объём выборки.

Вероятностная бумага

Графический анализ удобно проводить на так называемой вероятностной бумаге. Для её изготовления строят неравномерную шкалу на оси ординат по преобразованию $y' = F^{-1}(y)$. Шкала на оси абсцисс остаётся прежней. На новых шкалах прямо наносятся точки $(x_{(i)}, (i - 0{,}5)/n)$ — бумага сама делает преобразование. У нормальной бумаги деления шкалы сгущаются около 0,5 и расходятся к краям — около 0,01 и 0,99 они стоят далеко друг от друга.

Метод применяется только к моделям сдвига-масштаба и моделям, сводимым к ним преобразованиями. Например, логнормальная модель с плотностью

при логарифмировании $X'_i = \ln X_i$ сводится к $N(\mu, \sigma^2)$.

Пощупай руками

Начни с примера Лагутина, потом переключайся на законы. На нормальном точки ложатся на прямую, а оценки по прямой близки к истинным $\mu$ и $\sigma$. У Лапласа и засорённого края уходят от прямой — хвосты толще нормальных. У Коши концы улетают совсем. У равномерного край загибается внутрь — хвостов нет вовсе. Внизу — эмпирическая функция распределения против истинной: подвигай $n$.

Посчитаем то же кодом:

Проверь себя