§2. Критерий факторизации: разложи на множители

Как для заданной статистической модели найти достаточную статистику? Проверять по определению — считать условные распределения — муторно. Ответ даёт простой рецепт.

Теорема 1 (критерий факторизации). (Векторная) статистика $\mathbf T$ в дискретной модели достаточна тогда и только тогда, когда существуют функции $g$ и $h$ такие, что совместная вероятность $f(\mathbf x, \theta)$ выборки $\mathbf X$ представляется в виде

$$f(\mathbf x, \theta) = g\bigl(\mathbf T(\mathbf x), \theta\bigr)\,h(\mathbf x), \tag{1}$$

то есть распадается в произведение двух функций (факторизуется): первая зависит от $\theta$, но от $\mathbf x$ зависит лишь через $\mathbf T(\mathbf x)$, а вторая от параметра $\theta$ не зависит.

(Factor по-английски — множитель.) Для схемы Бернулли можно взять $g(t, \theta) = \theta^t(1 - \theta)^{n - t}$ и $h(\mathbf x) \equiv 1$, где $t = T(\mathbf x) = x_1 + \dots + x_n$.

Смысл по-пацански: раздели формулу правдоподобия на две кучи. В одну — всё, где есть $\theta$. Если в этой куче данные встречаются только в виде каких-то выжимок (сумма, максимум), эти выжимки и есть достаточная статистика. Вторая куча — без $\theta$, её можно выкинуть.

Доказательство

Необходимость. Если статистика $\mathbf T$ достаточна, то при любом $\mathbf x$ условная вероятность $\mathbf{P}(\mathbf X = \mathbf x \mid \mathbf T(\mathbf X) = \mathbf T(\mathbf x))$ не зависит от $\theta$. Возьмём её в качестве функции $h(\mathbf x)$. Так как событие $\{\mathbf X = \mathbf x\} \subseteq \{\mathbf T(\mathbf X) = \mathbf T(\mathbf x)\}$, совместная вероятность имеет вид

где $\mathbf{P}(\mathbf T(\mathbf X) = \mathbf T(\mathbf x))$ играет роль функции $g$ в (1).

Достаточность. Пусть имеет место разложение (1). Тогда при любом $\mathbf x$ таком, что $\mathbf T(\mathbf x) = \mathbf t$:

то есть условная вероятность не зависит от $\theta$: множитель $g(\mathbf t, \theta)$ одинаков для всех $\mathbf x'$ на линии уровня и сокращается. Если же $\mathbf x$ таково, что $\mathbf T(\mathbf x) \ne \mathbf t$, то очевидно $\mathbf{P}(\mathbf X = \mathbf x \mid \mathbf T(\mathbf X) = \mathbf t) = 0$. $\blacksquare$

Замечание. Если $\mathbf T$ достаточна, то такой же будет и статистика $\mathbf S = \varphi(\mathbf T)$, где $\varphi$ — взаимно однозначная (борелевская) функция. Действительно, тогда существует обратное отображение $\mathbf T = \varphi^{-1}(\mathbf S)$, и из (1)

Сумма и среднее, $(\sum x_i, \sum x_i^2)$ и $(\bar x, s^2)$ — одна и та же информация в разной упаковке.

Непрерывные модели

Теперь определим достаточность для непрерывных моделей. Обозначение $f(\mathbf x, \theta)$ станем использовать для совместной плотности выборки. Для статистики $\mathbf T(\mathbf x)$, непрерывно зависящей от $\mathbf x$, верно $\mathbf{P}(\mathbf T(\mathbf X) = \mathbf t) = 0$. Корректное определение условной вероятности $\mathbf{P}(\mathbf X = \mathbf x \mid \mathbf T(\mathbf X) = \mathbf t)$ в этом случае требует техники, которая выходит за рамки учебника. Поэтому критерий факторизации примем за определение: будем считать статистику $\mathbf T$ достаточной, если она факторизует плотность $f(\mathbf x, \theta)$ в виде (1).

Пример 1. Нормальная модель $N(\mu, \sigma^2)$ с неизвестными $\mu$ и $\sigma$, $\boldsymbol\theta = (\mu, \sigma)$. Плотность выборки:

По кирпичикам: раскрыли квадрат $(x_i - \mu)^2 = x_i^2 - 2\mu x_i + \mu^2$ и сложили. Данные остались только в виде двух сумм. Значит, статистика $\mathbf T(\mathbf x) = \left(\sum x_i,\ \sum x_i^2\right)$ достаточна, $h \equiv 1$. Её компоненты взаимно однозначно выражаются через $\bar x = \frac1n\sum x_i$ и $s^2 = \frac1n\sum x_i^2 - \bar x^2$, поэтому вся информация о значениях $\mu$ и $\sigma$ содержится в $\bar x$ и $s^2$.

Пример 2. Сдвиг показательного закона. Совместная плотность факторизуется так:

Первый множитель — $g$, второй — $h$. Для оценивания $\theta$ достаточно знать значение статистики $X_{(1)} = \min\{X_1, \dots, X_n\}$. Сумма $\sum x_i$ тут ушла в $h$ — она про $\theta$ ничего не говорит.

Смысл по-пацански: про сдвиг показательного закона важен только первый в очереди. Остальные выстроены за ним по одному и тому же закону, сколько бы ни был сдвиг.

Проверим пример 1 кодом: две разные выборки с одинаковыми $\sum x_i$ и $\sum x_i^2$ дают одну и ту же функцию правдоподобия при любых $\mu$ и $\sigma$.

Проверь себя