§1. Распределение Коши: когда среднее не работает

Эксперимент с источником

В некоторой точке трёхмерного пространства с неизвестными координатами $(a, b, c)$ сидит источник $\gamma$ -излучения. Детектор на плоскости $z = 0$ регистрирует точки $(x_i, y_i)$ , $i = 1, \dots, n$ , где траектории $\gamma$ -квантов пересекают эту плоскость. Направления траекторий случайны — равномерно распределены по сфере с центром в источнике. Надо оценить $a$ и $b$ , то есть найти, над какой точкой плоскости висит источник.

Первое, что приходит в голову, — усреднить: взять $(\bar X, \bar Y)$ . Точки и правда гуще всего прямо под источником. А усреднение, как все привыкли, гасит разброс: отклонения в разные стороны компенсируют друг друга.

Но в этом эксперименте усреднение совершенно бесполезно. Разберёмся почему на одномерном аналоге (двумерный — задача 7).

Одномерная модель

Из точки $(0, 1)$ выходит луч, направление которого равномерно распределено на нижней полуокружности. Пусть $X$ — координата пересечения луча с осью абсцисс, а $\alpha_x$ — угол между лучом и вертикалью. Угол $\alpha$ равномерен на $\left(-\tfrac\pi2, \tfrac\pi2\right)$ , а $X = \operatorname{tg}\alpha$ .

Найдём функцию распределения. Луч попадает левее $x$ , когда угол меньше $\alpha_x = \operatorname{arctg} x$ :

F(x) = \mathbf{P}(X \le x) = \frac{\alpha_x + \pi/2}{\pi} = \frac12 + \frac1\pi \operatorname{arctg} x.

Отсюда плотность

p(x) = F'(x) = \frac{1}{\pi(1 + x^2)}.

Это плотность Коши. Мы её уже встречали в главе 4, когда моделировали её методом обратной функции, — там это был ровно тот же тангенс равномерного угла.

На первый взгляд она похожа на нормальную: колокол, симметричный относительно нуля. Но они очень по-разному убывают на бесконечности. У нормального закона хвост $\mathbf{P}(X > x)$ убывает как $e^{-x^2/2}$ , а у Коши — всего лишь как $\dfrac{1}{\pi x}$ . Это называют тяжёлыми хвостами.

	$\mathbf{P}(\lvert X \rvert > 3)$	$\mathbf{P}(\lvert X \rvert > 10)$
$N(0, 1)$	$0{,}0027$	$1{,}5 \cdot 10^{-23}$
Коши	$0{,}205$	$0{,}063$

Каждое шестнадцатое наблюдение Коши лежит дальше 10 от центра. У нормального закона такого не дождёшься, даже если всю жизнь генерировать по миллиону чисел в секунду.

Смысл по-пацански: нормальный район — все тусят у ларька, редко кто отходит дальше пары кварталов. Район Коши — тоже тусят у ларька, но регулярно кто-то обнаруживается в соседнем городе.

Выбросы

Чем опасны тяжёлые хвосты? Величина с таким законом с заметной вероятностью принимает огромные по модулю значения. Поэтому в большой выборке из Коши обязательно найдутся одно или несколько наблюдений, сильно отличающихся от остальных. Их называют выбросами. Оценка «центра» через $\bar X$ при этом резко уезжает в сторону самого большого выброса (задача 6).

У Коши нет матожидания

Из-за слишком тяжёлых хвостов интеграл $\int x\,p(x)\,dx$ расходится: подынтегральная функция ведёт себя как $\dfrac{1}{\pi x}$ , а интеграл от $1/x$ до бесконечности — логарифм, который растёт неограниченно. Значит, $\mathbf{M}X$ не существует.

Если бы оно существовало, по усиленному закону больших чисел среднее $\bar X$ сходилось бы к $\mathbf{M}X$ . А что происходит с $\bar X$ на самом деле? Ответ дают характеристические функции $\psi_X(t) = \mathbf{M}e^{itX}$ . Для Коши

\psi_X(t) = \frac1\pi \int_{-\infty}^{\infty} \frac{\cos tx}{1 + x^2}\,dx = e^{-|t|}

(синусная часть пропала, потому что плотность чётная; сам интеграл берётся по теореме о вычетах). Характеристическая функция суммы независимых величин — произведение, а масштаб переносится в аргумент:

\psi_{n\bar X}(t) = \prod_{i=1}^n \psi_{X_i}(t) = e^{-n|t|}, \qquad \psi_{\bar X}(t) = \psi_{n\bar X}(t/n) = e^{-n|t|/n} = e^{-|t|}.

Характеристическая функция среднего совпала с характеристической функцией одного наблюдения. Она однозначно определяет закон, поэтому

$\bar X$ имеет распределение Коши при любом $n$ .

Среднее из миллиона наблюдений разбросано ровно так же, как одно наблюдение. Усреднение не дало ничего.

Смысл по-пацански: обычно, если опросить толпу и усреднить, вранье отдельных пацанов гасится. Здесь же один вдруг говорит «миллион», и все усреднения улетают вслед за ним. А такие среди Коши находятся всегда.

Посмотри сам

Сверху — лучи из источника. Почти вертикальные падают рядом с центром, почти горизонтальные улетают далеко. Снизу — бегущее среднее и бегущая медиана. Среднее подпрыгивает при каждом крупном выбросе и не успокаивается. Нормальное среднее (пунктир) садится на ноль. А медиана Коши садится на ноль не хуже.

Сверху — первые 40 лучей из источника над нулём: угол равномерный, точка на оси — величина Коши. Лучи, ушедшие почти горизонтально, улетают за кадр. Из 2000 точек дальше 10 от центра — 125, самая дальняя — на 1029.Снизу — бегущее среднее X̄ и бегущая медиана по первым m точкам. После 2000: X̄ = -0.07, MED = 0.038. Среднее дёргается от каждого выброса и не сходится, медиана садится на 0.

Проверим кодом, что среднее из 1000 наблюдений Коши разбросано так же, как одно наблюдение:

Загрузка редактора…

Как же оценить центр?

Как всё-таки состоятельно оценить $\theta$ в модели сдвига $F(x - \theta)$ , когда $F$ — функция распределения Коши? Ответ подсказал виджет: выборочная медиана. Ей не важно, насколько далеко улетел выброс, важно только, по какую сторону от центра он лёг. Об этом §2.