§3. Экспоненциальное семейство: где выжимка не растёт

Всегда существует тривиальная (векторная) достаточная статистика — вся выборка. Важен вопрос: для каких статистических моделей существуют достаточные статистики, размерность которых не зависит от длины выборки? Примером класса таких моделей служит экспоненциальное семейство.

Определение. Модель принадлежит экспоненциальному семейству, если найдутся функции $g_0, g_1, \dots, g_m$ и статистика $\mathbf T = (T_1, \dots, T_m)$ такие, что совместная плотность (или вероятность) выборки представляется в виде

$$f(\mathbf x, \boldsymbol\theta) = \exp\left\{g_0(\boldsymbol\theta) + \sum_{j=1}^m g_j(\boldsymbol\theta)\,T_j(\mathbf x)\right\}h(\mathbf x). \tag{2}$$

При этом статистика $\mathbf T$, очевидно, является достаточной — это частный случай факторизации (1).

По кирпичикам: в показателе экспоненты параметр и данные не перемешаны — каждое слагаемое — это «функция от параметра» умножить на «функцию от данных». И таких слагаемых фиксированное число $m$, сколько бы ни было наблюдений.

Смысл по-пацански: экспоненциальное семейство — это модели, где сколько бы пацанов ни опросил, в блокнот надо записывать одни и те же $m$ чисел (сумму, сумму квадратов…). Блокнот не пухнет.

Нормальная модель

Нормальная модель из примера 1 §2 удовлетворяет условию (2), если взять $m = 2$, $T_1 = \sum x_i$, $T_2 = \sum x_i^2$ и

Некоторые другие распределения из экспоненциального семейства — биномиальное, гамма, показательное с масштабом — приведены в задаче 2 и вопросе 2.

Кто не входит

Равномерное распределение на отрезке $[0, \theta]$ и модель сдвига показательного закона из примера 2 §2 в экспоненциальное семейство не входят. У них есть одномерная достаточная статистика ($X_{(n)}$ и $X_{(1)}$), но индикатор $I_{\{x_{(n)} \le \theta\}}$ не запишешь в виде $\exp\{g_0(\theta) + g_1(\theta)T(\mathbf x)\}$. Носитель зависит от параметра.

Замечание. Как доказали Е. Б. Дынкин и Т. С. Фергюсон, среди моделей сдвига только нормальный закон и распределение $\text{const}\cdot\ln X$, где $X$ имеет гамма-распределение, допускают представление (2) с $m = 1$. В частности, модели сдвига законов Коши и Лапласа в экспоненциальное семейство не входят. Более того, для этих двух законов не существует достаточной статистики, размерность которой меньше длины выборки.

Пессимистическая теорема

В каких ещё семействах, помимо экспоненциального, есть достаточные статистики фиксированной размерности? Ответ даёт следующая «пессимистическая» теорема.

Теорема 2. Предположим, что элементы выборки имеют непрерывную по $x$ плотность $f(x, \theta)$, носитель $A = \{x : f(x, \theta) > 0\}$ которой есть интервал, не зависящий от $\theta \in \Theta$. Пусть для совместной плотности выборки существует непрерывная $m$-мерная достаточная статистика. Тогда:

1. если $m = 1$, то найдутся функции $g_0$, $g_1$ и $h$ такие, что справедливо равенство (2);

2. если $m > 1$ и $f(x, \theta)$ имеет непрерывную частную производную по $x$, то существуют функции $g_j$ и $h$ такие, что равенство (2) справедливо с $m' \le m$.

Таким образом, среди гладких семейств распределений с фиксированным носителем только экспоненциальное семейство допускает сокращение размерности данных через достаточность. При этом важным условием в теореме 2 является независимость носителя от $\theta$. Если оно не выполняется, то, как показывает пример 2 §2, для любого размера выборки может существовать одномерная достаточная статистика.

Смысл по-пацански: либо твоя модель — из экспоненциальной бригады, либо (если носитель не плавает) записывать в блокнот придётся всю выборку. Третьего не дано.

Проверим разницу кодом. Если две выборки имеют одинаковую достаточную статистику, отношение их правдоподобий не зависит от параметра. Возьмём две выборки с одинаковой суммой: для Пуассона (экспоненциальное семейство, $T = \sum x_i$) отношение постоянно, а для сдвига Коши — нет.

У Пуассона разность логарифмов — константа: выборки с одной суммой «говорят» про $\theta$ одно и то же. У Коши разность меняется с $\theta$: одной суммы мало, важна вся выборка.

Проверь себя