Глава 9. Методы получения оценок

Следует поставить перед собой цель изыскать способ решения всех задач одним и притом простым методом.

— Ж. Даламбер

До сих пор оценки появлялись «из головы»: удвоенное среднее, подвинутый максимум, медиана. Для каждой новой модели такую догадку пришлось бы искать заново. В этой главе — универсальные рецепты: как по любой статистической модели построить оценку параметра почти автоматически.

Рецептов несколько, и они разные по силе:

• вероятностная бумага — графический способ для моделей сдвига-масштаба;
• метод моментов — простой, но не самый точный;
• метод максимального правдоподобия — асимптотически самый точный из возможных (в регулярных моделях). Насколько точно вообще можно оценить параметр, говорит информационное неравенство;
• метод Ньютона — как численно найти оценку правдоподобия, и почему иногда хватает одного шага;
• метод спейсингов — запасной вариант, когда правдоподобие сходит с ума.

Параграфы

• §1. Вероятностная бумага — эмпирическая функция распределения и как «распрямить» график, чтобы прочитать сдвиг и масштаб.
• §2. Метод моментов — приравниваем теоретические моменты выборочным.
• §3. Информационное неравенство — информация Фишера и нижняя граница дисперсии Рао — Крамера.
• §4. Метод максимального правдоподобия — самое правдоподобное значение параметра и его асимптотическая эффективность.
• §5. Метод Ньютона и одношаговые оценки — численное решение уравнения правдоподобия и оценка, точная как ОМП, за один шаг.
• §6. Метод спейсингов — уравниваем промежутки между точками.

Практика

• Задачи с разборами
• Контрольные вопросы

Что уносим из главы

У любой несмещённой оценки в регулярной модели дисперсия не меньше $1/(n I_1(\theta))$, где $I_1$ — информация Фишера одного наблюдения. Оценка максимального правдоподобия эту границу асимптотически достигает — точнее не бывает. Но правдоподобие капризно: бывает неограниченным, негладким, с кучей локальных максимумов. Тогда помогают одношаговые оценки и спейсинги.