§1. Достаточные статистики: сожми выборку и ничего не потеряй

Некоторые статистические модели допускают сжатие информации — замену выборки $\mathbf X = (X_1, \dots, X_n)$ размера $n$ на статистику $T(\mathbf X)$, которая «эквивалентна» всей выборке в задаче оценивания неизвестного параметра $\theta$.

Пример: схема Бернулли

Рассмотрим схему Бернулли с неизвестной вероятностью «успеха» $\theta$: $\mathbf{P}(X_i = x_i) = \theta^{x_i}(1 - \theta)^{1 - x_i}$, где $x_i = 0$ или $1$. Выборка $\mathbf X$ имеет совместное распределение

Заметь: вероятность конкретного набора нулей и единиц зависит только от числа единиц $t$, а не от того, где они стоят. Как мы знаем (пример 5 главы 9), ОМП в схеме Бернулли — частота $\bar X = T(\mathbf X)/n$, функция от $T$.

Найдём условное распределение выборки $\mathbf X$ при условии $\{T(\mathbf X) = t\}$, $t = 0, 1, \dots, n$:

если точка $\mathbf x$ такова, что $\sum x_i = t$, иначе вероятность равна 0.

По кирпичикам: в числителе — вероятность конкретного набора, в знаменателе — вероятность получить ровно $t$ единиц где угодно (биномиальный закон). $\theta$ сократилось. Это условное распределение не зависит от $\theta$.

Определение

Определение. Статистика $\mathbf T(\mathbf X) = (T_1(\mathbf X), \dots, T_m(\mathbf X))$ в дискретной модели называется достаточной, если для всех $\theta \in \Theta$, $\mathbf x \in \mathbb{R}^n$ и любых возможных значений $\mathbf t = (t_1, \dots, t_m)$ условная вероятность $\mathbf{P}(\mathbf X = \mathbf x \mid \mathbf T(\mathbf X) = \mathbf t)$ не зависит от $\theta$.

Понятие ввёл Р. Фишер в 1922 году.

Смысл по-пацански: знаешь, сколько пацанов из бригады вернулись с добычей, — знаешь про удачливость бригады всё. Кто именно из них вернулся с добычей — чистая случайность, про удачливость она ничего не добавляет.

Почему «содержит всю информацию»

Оказывается, достаточная статистика содержит точно такую же информацию о значении параметра $\theta$, что и вся выборка (задача 6 — там это сформулировано через информацию Фишера). Чтобы убедиться в этом, заметим, что моделирование выборки можно разбить на два этапа.

1. Розыгрыш значения $\mathbf t_0$ статистики $\mathbf T$, имеющей распределение $\mathbf{P}(\mathbf T(\mathbf X) = \mathbf t)$. В схеме Бернулли $T$ распределена по биномиальному закону: $\mathbf{P}(T(\mathbf X) = t) = C_n^t\,\theta^t(1 - \theta)^{n - t}$.

2. Розыгрыш положения реализации выборки $\mathbf X$ на множестве $\{\mathbf x : \mathbf T(\mathbf x) = \mathbf t_0\}$ — «линии уровня» — в соответствии с условным распределением $\mathbf{P}(\mathbf X = \mathbf x \mid \mathbf T(\mathbf X) = \mathbf t_0)$. Для схемы Бернулли на этом этапе надо случайно (равновероятно) расставить $t_0$ единиц в наборе нулей и единиц длины $n$.

При этом от того, какое значение имеет параметр $\theta$, ввиду достаточности статистики $\mathbf T$ зависит только первый этап — розыгрыш линии уровня. Второй этап — чистый шум, одинаковый при любом $\theta$. Изучая его, про $\theta$ ничего не узнаешь.

Смысл по-пацански: сначала судьба решает, сколько будет удачных дней, — и тут всё зависит от того, насколько ты фартовый. Потом она просто тасует эти дни по календарю — и тут от фарта уже ничего не зависит.

Пощупай руками

Генерируем выборки Бернулли при двух разных $\theta$ и оставляем только те, где ровно $t$ единиц. Частоты всех расположений одинаковы и для $\theta_1$, и для $\theta_2$ — ложатся на уровень $1/C_n^t$. Меняется только, как часто вообще выпадает $T = t$.

Двухэтапный розыгрыш в коде:

Два способа дают одно и то же распределение выборки. Значит, вся зависимость от $\theta$ проходит через $T$.

Проверь себя