§1. Метод обратной функции: универсальная отмычка

Станок из второй главы штампует равномерные числа на $[0,1]$. А нам нужны всякие: время ожидания — по показательному закону, ошибки измерений — по нормальному. Переделывать станок под каждый закон — западло. Нужна одна отмычка, которая открывает любой замок. Она есть и называется методом обратной функции.

Рецепт

Пусть функция распределения $F(x)$ непрерывна и строго возрастает (никаких ступенек и плоских участков). Тогда у неё есть обратная функция $F^{-1}(y)$ на интервале $(0,1)$.

Разберём по кирпичикам, что это такое. Обычная $F$ по иксу говорит высоту: «до этого $x$ накопилась вероятность $y$». Обратная работает наоборот: по высоте $y$ находит, при каком $x$ эта высота достигается. Встал на вертикальной оси на отметке $y$, пошёл вправо до кривой, опустился вниз — вот тебе $x = F^{-1}(y)$.

Утверждение 1. Если $\eta$ равномерна на $[0,1]$, то величина $\xi = F^{-1}(\eta)$ имеет функцию распределения $F(x)$.

Доказательство — одна строчка:

По кирпичикам:

• Первое равенство — просто определение функции распределения величины $\xi$.
• Второе: $F$ возрастает, поэтому неравенство $F^{-1}(\eta) \le x$ можно «обернуть» функцией $F$ с обеих сторон, и знак не перевернётся: получается $\eta \le F(x)$.
• Третье: $\eta$ равномерна, а у равномерной вероятность оказаться не выше уровня $F(x)$ равна ровно этому уровню.

Итог: накидал равномерных чисел, прогнал каждое через $F^{-1}$ — получил числа с нужным законом. По-дворовому: равномерное число — это сырой материал, а $F^{-1}$ — штамп, который придаёт ему нужную форму.

Выборка — это просто много таких чисел

Выборкой размера $n$ из распределения $F$ называют набор $(\xi_1, \dots, \xi_n)$ независимых величин с одной и той же функцией распределения $F$. Чтобы смоделировать выборку, берём псевдослучайные $y_1, \dots, y_n$ из второй главы и каждое прогоняем через штамп: $x_i = F^{-1}(y_i)$.

Показательный датчик

Применим рецепт к показательному закону: $F(x) = 1 - e^{-\lambda x}$ при $x > 0$. Найдём обратную функцию — решим уравнение $y = F(x)$ относительно $x$:

Получилась формула показательного датчика:

Покрути виджет. Сверху — функция распределения: двигай высоту $y$ и смотри, куда она отображается по оси $x$. Снизу — гистограмма целой выборки, полученной этим штампом, поверх теоретической плотности. Они совпадают:

И то же самое кодом: штампуем показательные числа и сравниваем среднее с теорией $1/\lambda$ (это мы выводили в первой главе).

Осторожно, тяжёлые хвосты

Важная оговорка. Многие законы, которые верны для равномерных чисел, — усиленный закон больших чисел, центральная предельная теорема — остаются верными и после штамповки, но только если хвосты распределения $1 - F(x)$ и $F(-x)$ достаточно быстро убывают. А бывают законы с тяжёлыми хвостами, где редкие огромные значения выскакивают слишком часто. Там привычная статистика ломается.

Переключи виджет на закон Коши — увидишь, как заметная часть точек улетает далеко за край картинки, хотя мы взяли окно от $-10$ до $10$. У нормального закона за такое окно не вылетает практически ничего. Про то, как ведут себя такие «рекордсмены», — следующий параграф.

Проверь себя