П4. Вероятностные неравенства

Неравенства — рабочие лошадки теории вероятностей. Точный закон распределения известен редко, а оценка «не больше чем…» — почти всегда. Три главных неравенства знает каждый, кто сдавал теорвер.

1. Неравенство Чебышёва

Для случайной величины $\xi \ge 0$ и любого $\varepsilon > 0$ верно неравенство Чебышёва

Следствие. Взяв $\eta = (\xi - \mathsf M\xi)^2$, получим $\mathsf P(|\xi - \mathsf M\xi| \ge \varepsilon) \le \dfrac{\mathsf D\xi}{\varepsilon^2}$.

По кирпичикам: так как $\xi \ge 0$, то $\xi \ge \varepsilon\cdot I_{\{\xi\ge\varepsilon\}}$ (если $\xi \ge \varepsilon$, справа $\varepsilon \le \xi$; иначе справа 0). Берём математическое ожидание от обеих частей (свойство 3 из П2): $\mathsf M\xi \ge \varepsilon\,\mathsf P(\xi \ge \varepsilon)$. Всё. Следствие: событие $\{|\xi - \mathsf M\xi| \ge \varepsilon\}$ — то же, что $\{(\xi - \mathsf M\xi)^2 \ge \varepsilon^2\}$, и применяем основное неравенство к неотрицательной $(\xi - \mathsf M\xi)^2$.

(В западной литературе первое неравенство обычно называют неравенством Маркова, а следствие — неравенством Чебышёва.)

Смысл по-пацански: если средняя зарплата на районе 50 тысяч, то получать миллион могут не больше 5 % народу — иначе среднее было бы больше. Чебышёв не знает про район ничего, кроме среднего, и всё равно что-то обещает. Правда, обещания грубые.

Насколько грубые — смотри в виджете: для нормального закона при $\varepsilon = 2\sigma$ на самом деле 0,046, а Чебышёв обещает «не больше 0,25». Но улучшить границу, ничего не зная о законе, нельзя: для закона на трёх точках она достигается.

2. Неравенство Коши — Буняковского

Следствие. Применяя его к случайным величинам $\xi' = \xi - \mathsf M\xi$ и $\eta' = \eta - \mathsf M\eta$ и используя свойство 4 математического ожидания (П2), получаем, что для коэффициента корреляции верно неравенство $|\rho(\xi, \eta)| \le 1$.

По кирпичикам — доказательство в одну строку: для любого $t$ $\;0 \le \mathsf M(|\xi| - t|\eta|)^2 = \mathsf M\xi^2 - 2t\,\mathsf M|\xi\eta| + t^2\,\mathsf M\eta^2$. Квадратный трёхчлен по $t$ неотрицателен при всех $t$ — значит, его дискриминант $\le 0$: $(\mathsf M|\xi\eta|)^2 \le \mathsf M\xi^2\,\mathsf M\eta^2$.

Смысл по-пацански: корреляция — это косинус угла между «отклонениями» $\xi'$ и $\eta'$ как векторами. А косинус по модулю больше единицы не бывает. Равенство $|\rho| = 1$ — когда векторы на одной прямой, т. е. $\eta$ — линейная функция $\xi$.

3. Неравенство Йенсена

Если $\varphi(x)$ — выпуклая вниз функция и $\mathsf M\xi$, $\mathsf M\varphi(\xi)$ конечны, то

Для строго выпуклых $\varphi$ (т. е. $\varphi(px + qy) < p\varphi(x) + q\varphi(y)$ для любых $x \ne y$, $0 < p < 1$, $q = 1 - p$) в случае $\xi \ne \text{const}$ неравенство строгое.

Замечание. Для бернуллиевской случайной величины $\xi$ неравенство Йенсена означает, что график $y = \varphi(x)$ на $[0, 1]$ лежит под хордой, соединяющей точки с координатами $(0, \varphi(0))$ и $(1, \varphi(1))$.

По кирпичикам — замечание: если $\mathsf P(\xi = 1) = p$, $\mathsf P(\xi = 0) = q$, то $\mathsf M\xi = p$, а $\mathsf M\varphi(\xi) = p\varphi(1) + q\varphi(0)$ — точка хорды над $x = p$. Неравенство говорит: $\varphi(p) \le$ хорда в точке $p$. Это и есть определение выпуклости. Частные случаи: $\varphi(x) = x^2$ даёт $(\mathsf M\xi)^2 \le \mathsf M\xi^2$, т. е. $\mathsf D\xi \ge 0$; $\varphi(x) = -\ln x$ даёт $\ln\mathsf M\xi \ge \mathsf M\ln\xi$ — среднее арифметическое не меньше среднего геометрического.

Смысл по-пацански: выпуклая функция «наказывает» за разброс. Среднее от квадратов всегда больше квадрата среднего; средний штраф за опоздания больше штрафа за среднее опоздание. Отсюда, например, смещение оценок вида $\varphi(\overline X)$: даже если $\overline X$ несмещена, $\varphi(\overline X)$ для выпуклой $\varphi$ систематически «завышает».

Проверь себя