П7. Условное математическое ожидание

Условная вероятность

Определение. Условной вероятностью события $A$ при условии события $B$ (предполагается, что $\mathsf P(B) > 0$) называется

Формула полной вероятности. Если события $A_1, A_2, \dots$ не пересекаются и $\bigcup A_k = \Omega$, то для любого события $B$

По кирпичикам: условная вероятность — это «пересчёт кассы» после того, как стало известно, что $B$ случилось. Все исходы вне $B$ выкидываем, оставшиеся вероятности растягиваем, чтобы в сумме снова была единица, — делим на $\mathsf P(B)$. Формула полной вероятности — разбор по случаям: $\Omega$ разрезали на куски $A_k$, в каждом куске посчитали вероятность $B$, сложили с весами кусков.

Смысл по-пацански: «какова вероятность, что пацан с района — спортсмен, если известно, что он ходит в качалку?» — условная вероятность. «Какова доля спортсменов на районе?» — взвешиваем по всем «качалка / не качалка / ушёл в армию» — формула полной вероятности.

Дискретный случай

Пусть случайные величины $\xi$ и $\eta$ имеют дискретные распределения.

Определение. Условное математическое ожидание $\xi$ при условии события $\{\omega\colon \eta(\omega) = y_j\}$ есть

Определение. Условным математическим ожиданием $\mathsf M(\xi \mid \eta)$ называется случайная величина, принимающая на множествах вида $\{\omega\colon \eta(\omega) = y_j\}$ значения $\mathsf M(\xi \mid \eta = y_j)$.

По кирпичикам: $\mathsf M(\xi \mid \eta = y_j)$ — число (среднее $\xi$ среди тех исходов, где $\eta = y_j$). А $\mathsf M(\xi \mid \eta)$ — случайная величина: функция от $\eta$, «лучший прогноз $\xi$, если знаешь только $\eta$». Её закон — значения $\mathsf M(\xi \mid \eta = y_j)$ с вероятностями $\mathsf P(\eta = y_j)$.

Случай с плотностью

Пусть случайные величины $\xi$ и $\eta$ имеют совместную плотность $p_{(\xi,\eta)}(x, y)$ (см. П8).

Определение. Условная плотность $\xi$ при условии $\eta$ есть

Определение. Условное математическое ожидание $\xi$ при условии события $\{\omega\colon \eta(\omega) = y\}$ задаётся формулой

Определение. Условное математическое ожидание $\mathsf M(\xi \mid \eta)$ — случайная величина, принимающая на множествах $\{\omega\colon \eta(\omega) = y\}$ значения $\mathsf M(\xi \mid \eta = y)$.

(Определение $\mathsf M(\xi \mid \eta)$ в общем случае — через теорему Радона — Никодима — есть в курсах теории вероятностей, на которые ссылается Лагутин.)

По кирпичикам: у непрерывной $\eta$ событие $\{\eta = y\}$ имеет вероятность ноль, и делить на него по первой формуле нельзя. Выход — делить плотности: «вертикальный срез» совместной плотности на высоте $y$, нормированный так, чтобы площадь под ним была 1. В виджете это делается «руками»: облако режется на узкие полосы по $\eta$, в каждой берётся среднее $\xi$. Для двумерного нормального закона с корреляцией $\rho$ (и единичными дисперсиями) получается прямая $\mathsf M(\xi \mid \eta = y) = \rho y$ — линия регрессии (гл. 21, 22).

Смысл по-пацански: хочешь угадать вес пацана, зная его рост, — бери всех пацанов того же роста и усредняй их вес. Для нормального закона эти средние ложатся на прямую — вот откуда в статистике столько прямых линий.

Свойства условного математического ожидания

1. $\mathsf M\bigl(\mathsf M(\xi \mid \eta)\bigr) = \mathsf M\xi$.
2. Если $\xi$ не зависит от $\eta$, то $\mathsf M(\xi \mid \eta) = \mathsf M\xi$ (п. н.).

Для любой борелевской функции $\varphi(x)$ имеют место равенства

3. $\mathsf M(\varphi(\eta)\xi \mid \eta) = \varphi(\eta)\,\mathsf M(\xi \mid \eta)$ (п. н.),
4. $\mathsf M\bigl[\mathsf M(\xi \mid \eta) \mid \varphi(\eta)\bigr] = \mathsf M(\xi \mid \varphi(\eta))$ (п. н.).

По кирпичикам:

• Свойство 1 — «формула полного математического ожидания», то же, что формула полной вероятности, но для средних: усреднил по кускам — усреднил по всему.
• Свойство 3 — если знаешь $\eta$, то $\varphi(\eta)$ для тебя константа, её можно вынести.
• Свойство 4 — «башенное»: прогноз по более бедной информации $\varphi(\eta)$ от прогноза по богатой $\eta$ — это просто прогноз по бедной.

На свойствах 1 и 4 стоит теорема Рао — Блэкуэлла (гл. 10): усреднение оценки по достаточной статистике не меняет среднего, а дисперсию только уменьшает.

Смысл по-пацански: условное среднее — это лучший расклад, который можно сделать, зная часть информации. Свойство 1 говорит: если потом усреднить свои прогнозы по всем возможным подсказкам, в среднем ты не ошибся. Свойство 4: если тебе подсказку огрубили, твой прогноз — это огрублённый прогноз умника, который подсказку знал целиком.

Проверь себя