Глава 10. Достаточность
По одной капле воды… человек, умеющий мыслить логически, может сделать вывод о возможности существования Атлантического океана или Ниагарского водопада.
— А. Конан Дойл, «Этюд в багровых тонах»
Выборка — это чисел. А часто для оценки параметра хватает одного-двух чисел, посчитанных по ней: суммы, максимума, суммы квадратов. Остальное — шум, который о параметре ничего не говорит. Такие «выжимки» называют достаточными статистиками.
В этой главе разбираемся:
- что значит «статистика содержит всю информацию о параметре»;
- как такие статистики быстро находить (критерий факторизации);
- для каких моделей выжимка не растёт с объёмом выборки (экспоненциальное семейство);
- как с помощью достаточной статистики улучшить любую несмещённую оценку (теорема Колмогорова — Блекуэлла — Рао);
- и бонусом — задачи о шариках в ящиках, которые выросли из полиномиального распределения и дошли до статистической физики.
Параграфы
- §1. Достаточные статистики — сжатие выборки без потерь и розыгрыш в два этапа.
- §2. Критерий факторизации — как найти достаточную статистику, разложив плотность на множители.
- §3. Экспоненциальное семейство — модели, где выжимка фиксированного размера, и почему других почти нет.
- §4. Улучшение несмещённых оценок — усреднение по достаточной статистике не увеличивает дисперсию.
- §5. Шарики в ящиках — принцип включения-исключения, задача о совпадениях, пустые ящики и статистики Максвелла — Больцмана и Бозе — Эйнштейна.
Практика
Что уносим из главы
Достаточная статистика — это всё, что нужно знать о выборке, чтобы оценивать параметр. Её находят, раскладывая правдоподобие на «часть с параметром, но зависящую от данных только через » и «часть без параметра». Хорошие оценки, как правило, — функции от достаточных статистик. А если оценка не такая, её можно улучшить, усреднив по достаточной статистике.