§6. Метод спейсингов: раздай промежутки поровну

Познакомимся с оригинальным методом, предложенным Ченом и Амином в 1983 году. Оценки этого метода асимптотически эффективны при выполнении условий регулярности и оказываются состоятельными даже для тех моделей, где глобальная ОМП не существует.

Спейсинги

Пусть $x_{(1)} \le x_{(2)} \le \dots \le x_{(n)}$ — вариационный ряд, построенный по реализации выборки из закона с функцией распределения $F(x, \boldsymbol\theta)$ и плотностью $f(x, \boldsymbol\theta)$, $\boldsymbol\theta \in \Theta$. Носитель — некоторый интервал $(\mu_1, \mu_2)$. Его концы тоже могут быть неизвестны, тогда их считают компонентами вектора $\boldsymbol\theta$. Положим $x_{(0)} = \mu_1$ и $x_{(n+1)} = \mu_2$.

Спейсингами называются величины

По кирпичикам: $D_i$ — вероятностная масса промежутка между соседними точками выборки. Не расстояние в метрах, а «сколько вероятности» туда помещается при данном $\boldsymbol\theta$.

Метод спейсингов рекомендует в качестве оценки параметра $\boldsymbol\theta$ взять такую статистику $\breve{\boldsymbol\theta}$, которая максимизирует произведение $G(\boldsymbol\theta) = \prod_{i=1}^{n+1} D_i$ или, что то же самое, функцию $H(\boldsymbol\theta) = \ln G(\boldsymbol\theta) = \sum \ln D_i$.

Почему это разумно. Сумма $\sum_{i=1}^{n+1} D_i = 1$, а при таком условии произведение максимально, когда все $D_i$ одинаковы (задача 8). Выбор $\boldsymbol\theta$, который «уравнивает» спейсинги, разумен потому, что при истинном $\boldsymbol\theta$ величины $D_i(X_{(i)}, X_{(i-1)}, \boldsymbol\theta)$ по методу обратной функции из главы 4 — это спейсинги равномерной выборки на $[0, 1]$, а они одинаково распределены (§4 главы 4).

Смысл по-пацански: если правильно угадал закон, то пацаны в «вероятностных единицах» стоят ровной очередью, с одинаковыми в среднем промежутками. Подбираешь $\theta$ так, чтобы очередь выглядела максимально ровной.

Пример: сдвиг показательного закона

Пример 14. Для модели сдвига показательного закона с плотностью $f(x, \theta) = e^{-(x - \theta)}I_{\{x \ge \theta\}}$ из примера 6:

Первое слагаемое — первый спейсинг $D_1 = F(X_{(1)}) - F(\theta) = 1 - e^{-(X_{(1)} - \theta)}$. Остальные спейсинги равны $e^{\theta}\bigl(e^{-X_{(i-1)}} - e^{-X_{(i)}}\bigr)$, отсюда $\theta n$. От $\theta$ зависят только первые два слагаемых. Приравниваем производную нулю:

Сравнивая с ОМП $X_{(1)}$, видим, что смещение уменьшилось с $\frac1n$ до величины порядка $n^{-2}$ (а именно $\frac1n - \ln(1 + \frac1n) \approx \frac{1}{2n^2}$). Спейсинги «сами» почти сделали ту поправку, которую мы вручную ввели в задаче 3 главы 6.

Правдоподобие против спейсингов

Сопоставим логарифм функции правдоподобия $\ln L(\boldsymbol\theta) = \sum_{i=1}^n \ln f(X_{(i)}, \boldsymbol\theta)$ и $H(\boldsymbol\theta) = \sum_{i=1}^{n+1}\ln D_i$. По теореме Лагранжа о среднем

Среднее слагаемое от $\boldsymbol\theta$ не зависит. Если $\mu_1$ и $\mu_2$ известны, остаточный член $R_i$ хоть и зависит от $\theta$, но имеет величину $O(X_{(i)} - X_{(i-1)})$, а промежутки $X_{(i)} - X_{(i-1)} \xrightarrow{\mathbf{P}} 0$ при $n \to \infty$. Поведение $\partial H/\partial\theta$ становится неотличимо от $\partial\ln L/\partial\theta$. Отсюда асимптотическая эффективность оценок метода спейсингов.

Если же $\mu_1$ (или $\mu_2$) неизвестен, вклад $R_1$ (или $R_{n+1}$) уже не стремится к нулю, и $\ln L$ и $H$ ведут себя по-разному. В частности, $\ln L$ может быть не ограничен сверху, а $H \le 0$ всегда, поскольку $0 \le D_i \le 1$.

Пример: сдвинутый Вейбулл

Пример 15. Для выборки из сдвинутого на $\mu$ распределения Вейбулла — Гнеденко с функцией распределения $F_{\mu, \alpha}(x) = \bigl[1 - e^{-(x - \mu)^\alpha}\bigr]I_{\{x > \mu\}}$, где $\mu$ и $\alpha > 0$ неизвестны, логарифм правдоподобия

При $\alpha < 1$ и $\mu \to X_{(1)}$ слагаемое $(\alpha - 1)\ln(X_{(1)} - \mu)$ уходит в $+\infty$ — и вся функция тоже. Глобальная ОМП не существует. А метод спейсингов позволяет получить состоятельные оценки $\mu$ и $\alpha$. Решать систему $\partial H/\partial\mu = \partial H/\partial\alpha = 0$, правда, приходится численно.

Другие примеры применения метода спейсингов — в задачах 4 и 5.

Проверь себя