§2. Несмещённость и состоятельность: не врать и не тупить

Оценка $\hat\theta(X_1, \dots, X_n)$ — это формула от случайной выборки, значит, она сама случайная величина. На одной выборке может повезти, на другой — нет. Поэтому оценку судят не по одному попаданию, а по её закону распределения. Первые два требования к нему — несмещённость и состоятельность.

Несмещённость: в среднем в цель

Определение. Оценка $\hat\theta(x_1, \dots, x_n)$ параметра $\theta$ называется несмещённой, если

$$\mathbf{M}_\theta\, \hat\theta(X_1, \dots, X_n) = \theta \quad \text{для всех } \theta \in \Theta.$$

По кирпичикам: индекс $\theta$ у $\mathbf{M}_\theta$ значит «матожидание считаем так, будто выборка взята из закона $F_\theta$». Дальше индекс будем опускать, чтобы формулы не распухали. Разность $b(\theta) = \mathbf{M}\hat\theta - \theta$ называют смещением (по-английски bias).

Важно, что условие должно выполняться при всех $\theta$. Тривиальный контрпример: оценка $\hat\theta \equiv 1$, которая на выборку вообще не смотрит. При $\theta = 1$ она идеальна, а при других $\theta$ у неё смещение $b(\theta) = 1 - \theta$. Сломанные часы тоже показывают точное время дважды в сутки.

Смысл по-пацански: несмещённый стрелок может мазать то влево, то вправо, но центр его кучи пробоин — в яблочке. Смещённый кладёт кучу кучно, но стабильно левее.

Смещён ли максимум

Вернёмся к отрезку $[0, \theta]$ из §1.

• $\hat\theta_1 = X_{(n)}$ всегда не больше $\theta$, значит, систематически занижает. Точнее, из задачи 3 главы 1: $\mathbf{M}X_{(n)} = \dfrac{n}{n+1}\,\theta$. Смещение $-\dfrac{\theta}{n+1}$.
• $\hat\theta_2 = 2\bar X$ несмещённая: закон каждой $X_i$ симметричен относительно $\theta / 2$, так что $\mathbf{M}X_i = \theta / 2$, и по свойствам матожидания $\mathbf{M}\,2\bar X = \theta$.
• $\hat\theta_3 = \dfrac{n+1}{n}\,X_{(n)}$ несмещённая: домножили максимум ровно на столько, чтобы убить смещение.

Иногда оценивают не сам параметр

Бывает, что интересен не $\theta$, а заданная функция $\varphi(\theta)$.

Пример 1. Из партии приборов отобрали $n$ штук, $X_1, \dots, X_n$ — их время работы до поломки, закон показательный: $F_\theta(x) = 1 - e^{-\theta x}$, $x > 0$. Надо оценить среднее время до поломки

По свойствам матожидания выборочное среднее $\bar X$ — несмещённая оценка для $\varphi(\theta)$: $\mathbf{M}\bar X = 1/\theta$.

А вот если оценивать сам $\theta$ через $\hat\theta = 1/\bar X$, оценка выйдет смещённой. Функция $1/x$ выпуклая, и для таких функций матожидание от функции больше функции от матожидания (неравенство Йенсена): $\mathbf{M}(1/\bar X) > 1/\mathbf{M}\bar X = \theta$. Точный ответ $\mathbf{M}(1/\bar X) = \dfrac{n}{n-1}\,\theta$, а несмещённая оценка $\dfrac{n-1}{X_1 + \dots + X_n}$ — это задача 6.

Пример 2. Не всякую функцию можно оценить без смещения. Пусть $X_1$ — одно испытание Бернулли: $\mathbf{P}(X_1 = 1) = \theta$, $\mathbf{P}(X_1 = 0) = 1 - \theta$, $\theta \in (0, 1)$. Хотим оценить $\varphi(\theta) = 1/\theta$. Оценка — это два числа: $\hat\varphi(0)$ и $\hat\varphi(1)$. Условие несмещённости:

Слева прямая по $\theta$, справа гипербола. При $\theta \to 0$ левая часть стремится к $\hat\varphi(0)$, а правая улетает в бесконечность. Не сходится ни при каких $\hat\varphi(0), \hat\varphi(1)$.

Выборочная дисперсия смещена

Пример 3. Выборка из закона со средним $\mu = \mathbf{M}X_1$ и дисперсией $\sigma^2 = \mathbf{D}X_1$, например из нормального $N(\mu, \sigma^2)$. Среднее $\bar X$ оценивает $\mu$ без смещения. Для $\sigma^2$ напрашивается выборочная дисперсия

Второе равенство — та же формула «среднее квадрата минус квадрат среднего», что и для обычной дисперсии в главе 1, только для величины, которая с вероятностью $1/n$ принимает каждое значение $x_i$.

Посчитаем $\mathbf{M}S^2$. Раскроем $\bar X^2 = \frac{1}{n^2}\sum_{i,j} X_i X_j$ и разделим слагаемые на диагональные ($i = j$) и остальные:

По кирпичикам:

• первая сумма даёт $\mathbf{M}X_1^2$ — все слагаемые одинаковые;
• вторая — $\frac1n \mathbf{M}X_1^2$, это диагональ из $\bar X^2$;
• в третьей $n(n-1)$ слагаемых, и для $i \ne j$ матожидание произведения распалось в произведение благодаря независимости: $\frac{n-1}{n}(\mathbf{M}X_1)^2$.

Собираем:

Выборочная дисперсия в среднем занижает истину в $\frac{n-1}{n}$ раз. Чтобы убрать смещение, домножают на $\frac{n}{n-1}$:

Вот откуда в калькуляторах и в numpy.var(..., ddof=1) берётся $n - 1$ в знаменателе.

Смысл по-пацански: разброс считаем от $\bar X$, а не от настоящего центра $\mu$. Но $\bar X$ подстроено под эти же точки и сидит к ним ближе, чем $\mu$. Вот разброс и выходит чуть меньше реального — одну степень свободы мы «съели», когда считали среднее.

С корнем ещё хитрее. Даже несмещённое $\hat\sigma^2$ под корнем даёт смещённую оценку $\sigma$: корень вогнутый, Йенсен работает в другую сторону. В нормальной модели несмещённо оценивает стандартное отклонение

где $\Gamma$ — гамма-функция из §4 главы 3. Поправка быстро уходит в единицу:

Проверим смещение $S^2$ и таблицу кодом:

Несмещённости мало

Само по себе отсутствие смещения ничего не гарантирует. В схеме Бернулли первый элемент выборки $X_1$ — несмещённая оценка вероятности успеха: $\mathbf{M}X_1 = 0 \cdot (1 - \theta) + 1 \cdot \theta = \theta$. Но он принимает только значения 0 и 1, которые даже не лежат в $\Theta = (0, 1)$! И сколько ни собирай данных, эта оценка смотрит на одно наблюдение. Нужно, чтобы ошибка уходила в ноль с ростом выборки.

Определение. Оценка $\hat\theta$ называется состоятельной, если для всех $\theta \in \Theta$

$$\hat\theta_n = \hat\theta(X_1, \dots, X_n) \xrightarrow{\ \mathbf{P}\ } \theta \quad \text{при } n \to \infty.$$

Стрелка с буквой $\mathbf{P}$ — сходимость по вероятности: для любого $\varepsilon > 0$

То есть как ни сузь коридор $\pm\varepsilon$ вокруг истины, при большой выборке оценка почти наверняка в него попадёт. Вероятностная масса оценки стягивается к $\theta$.

Смысл по-пацански: несмещённость — «в среднем не врёт», состоятельность — «чем больше инфы, тем точнее». Нужны оба: первое без второго — болтун, который в среднем прав, но каждый раз несёт чушь.

Как доказывать состоятельность

Обычно работает один из трёх способов.

1. Напрямую найти закон оценки и посчитать вероятность промаха (задачи 1 и 2).
2. Закон больших чисел плюс непрерывность: $\bar X \to \mathbf{M}X_1$, а непрерывная функция сходимость сохраняет. Так, $1/\bar X$ из примера 1 состоятельна, хоть и смещена.
3. Через смещение и дисперсию:

Лемма. Если смещение $b_n(\theta) = \mathbf{M}\hat\theta_n - \theta$ и дисперсия $\mathbf{D}\hat\theta_n$ стремятся к нулю при $n \to \infty$, то оценка $\hat\theta$ состоятельна.

Доказательство. По неравенству Чебышёва

Числитель разложим, прибавив и вычтя $\mathbf{M}\hat\theta_n$:

Оба слагаемых уходят в ноль, значит, и вероятность промаха тоже. $\blacksquare$

Формулу $\mathbf{M}(\hat\theta - \theta)^2 = \mathbf{D}\hat\theta + b^2(\theta)$ запомни отдельно — ошибка = разброс + смещение². Она понадобится в §3.

Для отрезка $[0, \theta]$ лемма сразу даёт состоятельность:

• $\hat\theta_2 = 2\bar X$: смещения нет, $\mathbf{D}\hat\theta_2 = 4\,\mathbf{D}\bar X = \dfrac{\theta^2}{3n} \to 0$;
• $\hat\theta_3$: смещения нет, $\mathbf{D}\hat\theta_3 = \dfrac{\theta^2}{n(n+2)} \to 0$, и намного быстрее;
• $\hat\theta_1$: смещение $-\dfrac{\theta}{n+1} \to 0$ и дисперсия $\dfrac{n\theta^2}{(n+1)^2(n+2)} \to 0$ — тоже состоятельна, хоть и смещена.

А вот $\hat\theta_4 = (n+1)\,X_{(1)}$ — удлинённый минимум — несмещённая, но не состоятельная: её дисперсия $\dfrac{n\theta^2}{n+2} \to \theta^2$ не убывает (задача 2). Минимум всегда прижат к нулю, его масштаб $\sim \theta/n$, и умножение на $n + 1$ раздувает весь его шум обратно.

Пощупай руками

Режим «Разброс оценок»: тысячи выборок, по каждой посчитана каждая оценка, и видно, как разбросаны её значения. Центр горба $\hat\theta_1$ левее истины — смещение. Горб $\hat\theta_3$ стоит ровно на $\theta$ и уже горба $\hat\theta_2$. Включи $\hat\theta_4$ и подвигай $n$: горб не сужается.

Режим «Состоятельность»: доля промахов больше $\varepsilon\theta$ в зависимости от $n$. У состоятельных кривые падают к нулю, у $\hat\theta_4$ — застревают.

Проверь себя