§2. Порядковые статистики и смеси: кто какой по счёту

В главе 4 мы уже сортировали выборку в вариационный ряд. Теперь спросим: как распределена $k$-я по величине точка? И заодно научимся моделировать смеси — когда величина берётся то из одного закона, то из другого.

Закон $k$-й порядковой статистики

Пусть $\eta_1, \dots, \eta_n$ равномерны на $[0,1]$, а $\eta_{(k)}$ — $k$-я по возрастанию.

Утверждение 3. $\displaystyle F_{\eta_{(k)}}(x) = \sum_{i=k}^{n} C_n^i\, x^i (1-x)^{n-i}, \qquad 0 \le x \le 1.$

Доказательство — красивая подмена. Назовём «успехом» то, что точка $\eta_i$ упала левее $x$. Шанс успеха $p = x$, точки независимы — получилась схема Бернулли. А «$k$-я по возрастанию не больше $x$» — то же самое, что «хотя бы $k$ точек левее $x$». Это сумма биномиальных вероятностей от $k$ до $n$ из §1.

Продифференцировав и сократив (почти все слагаемые взаимно уничтожаются), получаем плотность:

Смысл по кирпичикам: $x^{k-1}$ — шанс, что $k-1$ точек левее $x$; $(1-x)^{n-k}$ — что $n-k$ правее; ещё одна точка сидит прямо в $x$, а множитель считает, сколькими способами выбрать, кто где.

Бета-распределение

Определение. Величина $U$ имеет бета-распределение с параметрами $r > 0$, $s > 0$, если

$$p_U(x) = \frac{1}{B(r,s)}\, x^{r-1}(1-x)^{s-1}, \qquad 0 < x < 1.$$

Здесь $B(r,s)$ — бета-функция Эйлера из главы 3, она просто нормирует площадь до единицы. Значит, $k$-я порядковая статистика равномерной выборки имеет бета-распределение $B(k, n-k+1)$.

Форма зависит от параметров: при $r = s = 1$ это равномерное; при $r, s > 1$ — горб; при $r, s < 1$ — «ванна», задранная к краям. Моменты считаются в одну строку:

Покрути виджет: двигай $n$ и $k$. При $k = 1$ это минимум, жмущийся к нулю, при $k = n$ — максимум у единицы, в середине — горб около $k/(n+1)$.

Арксинус-закон: кто ведёт в игре

Особый случай $r = s = \tfrac12$ — арксинус-распределение с функцией распределения $F(x) = \frac{2}{\pi}\arcsin\sqrt{x}$. Его плотность — та самая «ванна»: высокая у краёв и низкая в середине.

Где он вылезает. Два равных по силе игрока бросают монетку: орёл — рубль первому, решка — второму. Какую долю времени первый будет в плюсе? Интуиция говорит: около половины, ведь силы равны. А на деле доля времени лидерства подчиняется арксинус-закону и чаще всего близка к 0 или 1.

Конкретно: $F(0{,}976) \approx 0{,}9$, поэтому в каждом пятом случае один из игроков лидирует не менее 97,6 % всей игры. Проигрывающий почти всю партию сидит в минусе и думает «сейчас отыграюсь» — а закон говорит, что так и просидит.

Сравни: «почти всю игру впереди кто-то один» случается чаще, чем «поровну, около половины». Вот такая кривая справедливость у честной монетки.

Смеси и метод суперпозиции

Определение. Пусть $p_k \ge 0$, $\sum p_k = 1$, а $F_k(x)$ — функции распределения. Тогда $F(x) = \sum_k p_k F_k(x)$ называется смесью распределений $F_k$ с весами $p_k$.

Например, смесь с весами $\tfrac12$ закона «всегда 1» и равномерного на $[0,1]$: монеткой решаешь, выдать ровно единицу или случайное число.

Моделируется смесь методом суперпозиции, в два хода (это формула полной вероятности):

1. Разыгрываем номер $k_0$ с вероятностями $p_k$ — дискретным датчиком из §1.
2. Берём число из закона $F_{k_0}$ любым подходящим способом.

По-дворовому: сначала жребием решаешь, к какой бригаде идти, потом бригада выдаёт своё.

Пример. Плотность $p_\xi(x) = \sum_{k} a_k x^k$ с $a_k \ge 0$ на $[0,1]$. Перепишем её как $\sum_k p_k (k+1)x^k$ с $p_k = a_k/(k+1)$. А $(k+1)x^k$ — это плотность максимума из $k+1$ равномерных чисел (бета $B(k+1, 1)$). Итак: разыграй $k$ с вероятностями $p_k$, потом возьми максимум из $k+1$ равномерных. Работает, только пока все $a_k \ge 0$.

Многочлены Бернштейна

А если плотность $f$ любая непрерывная, не степенной ряд? Её можно приблизить многочленами Бернштейна:

Теорема Вейерштрасса. Если $f$ непрерывна на $[0,1]$, то $f_n(x) \to f(x)$ равномерно по $x$ при $n \to \infty$.

Доказательство опять на вероятностях. Пусть $Z_n$ — число успехов в $n$ испытаниях с вероятностью успеха $x$. Тогда $f_n(x) = \mathbf{M}\,f(Z_n/n)$ — просто среднее значение $f$ в точке «доля успехов». А доля успехов по неравенству Чебышёва жмётся к $x$:

Почти вся масса сидит рядом с $x$, а там $f$ почти равна $f(x)$ по непрерывности. Остаток весит не больше $\tfrac{2M}{4n\delta^2}$ и уходит в ноль. Итог: $|f(x) - f_n(x)| \le \varepsilon + \frac{M}{2n\delta^2}$ равномерно по $x$.

Для моделирования многочлен нормируют, чтобы площадь была 1, и раскладывают как смесь бета-плотностей — тех самых плотностей порядковых статистик. Веса пропорциональны $f(k/n)$. При больших $n$ это почти то же, что дискретная величина со значениями $k/n$ и вероятностями, пропорциональными $f(k/n)$.

Покрути виджет: двигай степень $n$ и смотри, как многочлен подползает к функции. На ступеньке убедишься, зачем теореме нужна непрерывность: в точках скачка многочлен застревает посередине и не дотягивается.

Проверь себя