Этот конспект ещё находится в процессе редактуры: в тексте могут встречаться опечатки, неточности и локально не проработанные места. Если что-то нашли — сообщите, пожалуйста, автору (контакты на странице курса).
УМО из темы 11 — условное среднее; но часто нужен полный ответ: каково условное распределение \(\xi\) при известном \(\eta\)? Так устроены все двухэтапные модели. Классический пример (Кленке [@klenke2020probability]): монету «портят» случайным образом, так что вероятность орла \(X\) равномерна на \([0,1]\), а затем при известном \(X = x\) бросают \(n\) раз независимо. Интуиция немедленно говорит: \(\mathbb {P}\left(Y_1 = \ldots = Y_n = 1 \mid X = x\right)\) «должно быть» \(x^n\) — но событие \(\left\{ X = x\right\}\) имеет вероятность нуль, и определению из первого курса эта запись недоступна. Тема 11 дала обходной путь — \(\mathbb {P}\left(A \mid \eta \right) := \mathbb {E}\left[ \; \mathbb {1}_{A} \mid \eta \right]\), — но «поштучный», со своим нулевым множеством для каждого события \(A\). В этой теме мы построим полноценный объект — регулярное условное распределение: при каждом значении условия — настоящая вероятностная мера. По дороге появится язык переходных ядер (на нём курс СП определит марковские процессы), вычислительная техника условных плотностей, знаменитый парадокс Бореля–Колмогорова и — мостиком к статистике — достаточные статистики. Опираемся на Ширяева [@shiryaev2016probability] (гл. 2, 7) и Кленке [@klenke2020probability] ( 8.3).
Переходные ядра
Определение 1 Пусть \((E_1, \mathcal{E}_1)\) и \((E_2, \mathcal{E}_2)\) — измеримые пространства. Функция \(K\colon E_1 \times \mathcal{E}_2 \to [0, 1]\) называется переходным (марковским, стохастическим) ядром из \(E_1\) в \(E_2\), если:
при каждом фиксированном \(y \in E_1\) отображение \(B \mapsto K(y, B)\) — вероятностная мера на \((E_2, \mathcal{E}_2)\);
при каждом фиксированном \(B \in \mathcal{E}_2\) отображение \(y \mapsto K(y, B)\) измеримо.
Ядро — это «измеримое семейство мер», проиндексированное точками первого пространства: машина, которая по входу \(y\) выдаёт распределение на выходе. Примеры (Кленке, пример 8.27):
дискретные пространства: ядро — это матрица \(K_{ij} \geq 0\) с единичными суммами строк — матрица переходных вероятностей марковской цепи (курс СП);
\(K(x, \cdot ) = \operatorname {Pois}(x)\) — ядро из \([0, \infty )\) в \(\mathbb {Z}^{+}\): «случайная интенсивность \(\to\) случайный счётчик» (страховая модель ниже);
\(K(x, \cdot ) = \mathbb {P}_{x + \zeta }\) — свёрточное ядро случайного сдвига: «текущая точка \(\to\) точка после случайного шага».
Интерактивная иллюстрация ещё не создана. См. исходник: /home/nedosh/Documents/online_math_notes/math-notes_FPMI_2/courses/nedosh_courses/courses/04-probability/02_PT/contents/specials/120/03_kernel_fig.tex.
Регулярные условные распределения
Почему «поштучного» определения \(\mathbb {P}\left(\xi \in B \mid \eta \right)\) из темы 11 мало? Каждая версия определена с точностью до нулевого множества, своего для каждого борелевского \(B\); борелевских множеств несчётно много, и объединение всех исключительных множеств может накрыть всё \(\Omega\) (Ширяев, 7.5). Мы же хотим, чтобы при (почти) каждом \(y\) набор чисел \(\mathbb {P}\left(\xi \in B \mid \eta = y\right)\), \(B \in \mathscr {B}\left(\mathbb {R}\right)\), был согласованной вероятностной мерой — тогда с ним можно работать как с обычным распределением: интегрировать, считать моменты, подставлять. Это и есть регулярность.
Определение 2 Пусть \(\xi\) — случайный элемент со значениями в \((E, \mathcal{E})\), \(\eta\) — случайная величина. Регулярным условным распределением \(\xi\) относительно \(\eta\) называется переходное ядро \(K\) из \(\mathbb {R}\) в \(E\) такое, что \[
\mathbb {P}\left(\xi \in B, \; \eta \in C\right) = \int _C K(y, B) \, \mathbb {P}_\eta (dy) \qquad \text{для всех } B \in \mathcal{E}, \; C \in \mathscr {B}\left(\mathbb {R}\right);
\] пишем \(K(y, B) = \mathbb {P}\left(\xi \in B \mid \eta = y\right)\). (Эквивалентно: при каждом \(B\) функция \(K(\eta (\omega ), B)\) — версия \(\mathbb {P}\left(\xi \in B \mid \eta \right)(\omega )\).) Аналогично определяется регулярное условное распределение относительно \(\sigma\)-алгебры \(\mathcal{G}\): ядро \(\mathbb {P}\left(\omega ; B\right)\) из \((\Omega , \mathcal{G})\) в \((E, \mathcal{E})\).
Теорема 1 (существование; Ширяев, теорема 4; Кленке, теоремы 8.29 и 8.37) Если \(\xi\) принимает значения в \(\mathbb {R}\) — или, более общо, в борелевском пространстве (измеримо изоморфном борелевскому подмножеству прямой; таковы все польские пространства: \(\mathbb {R}^{d}\), \(\mathbb {R}^{\infty }\), \(C[0,1]\), ), — то регулярное условное распределение существует и единственно с точностью до \(\mathbb {P}_\eta\)-нулевого множества значений \(y\).
Идея доказательства для \(\mathbb {R}\) поучительна — это «сборка меры из счётного числа деталей». Для каждого рационального \(r\) возьмём какую-нибудь версию \(F_r(\omega ) = \mathbb {P}\left(\xi \leq r \mid \mathcal{G}\right)(\omega )\). Монотонность и предельные свойства УМО (тема 11) нарушаются каждый раз лишь на нулевом множестве; рациональных чисел счётно много, поэтому все дефекты — немонотонность, отсутствие правого предела, неправильные пределы на \(\pm \infty\) — умещаются в одно нулевое множество \(N\). Вне \(N\) функция \(F(\omega ; x) := \inf_{r > x, \, r \in \mathbb {Q}} F_r(\omega )\) — честная функция распределения; на \(N\) подставим любую фиксированную ФР. Каждая ФР задаёт меру (теорема о соответствии, тема 1!), а совпадение с «поштучными» условными вероятностями распространяется с лучей на все борелевские множества по лемме Дынкина. Общий случай сводится к \(\mathbb {R}\) переносом вдоль измеримого изоморфизма.
Главная вычислительная награда за регулярность — условные ожидания считаются интегрированием по ядру, причём сразу для всех функций:
Теорема 2 (подстановка; Ширяев, теорема 3; Кленке, теорема 8.38) Пусть \(K\) — регулярное условное распределение \(\xi\) относительно \(\eta\), и \(\mathbb {E}\left[\left|g(\xi )\right|\right] < \infty\). Тогда \[
\mathbb {E}\left[ g(\xi ) \mid \eta = y \right] = \int _E g(x)\, K(y, dx) \qquad \text{для } \mathbb {P}_\eta \text{-п.в.\ } y.
\]
Стандартная машина: для \(g = \; \mathbb {1}_{B}\) утверждение — определение Определение 2; далее линейность (простые \(g\)), условная монотонная сходимость (неотрицательные \(g\); здесь работает то, что \(K(y, \cdot )\) — мера, и предел можно вносить в интеграл по ней), разность \(g = g^+ - g^-\).
Итого рецепт вычисления любых условных характеристик: найди условное распределение — дальше все средние, дисперсии и вероятности считаются по нему обычным интегрированием, как в безусловном мире.
Условные плотности
Теорема 3 (условная плотность; Ширяев, пример 2; Кленке, пример 8.31) Пусть вектор \((\xi , \eta )\) имеет совместную плотность \(p(x, y)\), и \(p_\eta (y) = \int p(x,y)\, dx\). Тогда регулярное условное распределение \(\xi\) относительно \(\eta\) имеет плотность \[
p_{\xi \mid \eta }(x \mid y) = \frac{p(x, y)}{p_\eta (y)} \qquad (\text{при } p_\eta (y) > 0; \text{ на нулевом множестве --- любая фиксированная плотность}),
\] и, соответственно, \(\mathbb {E}\left[ g(\xi ) \mid \eta = y \right] = \int g(x)\, p_{\xi \mid \eta }(x \mid y)\, dx\); в частности, регрессионная функция \[
m(y) = \mathbb {E}\left[ \xi \mid \eta = y \right] = \int _{\mathbb {R}} x \, p_{\xi \mid \eta }(x \mid y)\, dx.
\]
Проверяем определение Определение 2 для \(K(y, B) = \int_B p_{\xi |\eta }(x\mid y)\, dx\) теоремой Фубини: \[
\int _C \left[\int _B p_{\xi \mid \eta }(x \mid y)\, dx\right]\, p_\eta (y)\, dy = \iint _{B \times C} p(x, y)\, dx\, dy = \mathbb {P}\left(\xi \in B, \eta \in C\right).
\] Измеримость по \(y\) — также Фубини; нормировка \(\int p_{\xi |\eta }\, dx = 1\) при \(p_\eta (y) > 0\) очевидна.
Геометрия формулы: условная плотность — нормированный срез совместной плотности прямой \(\eta = y\). Попутно получаем непрерывные формулы полной вероятности и Байеса:
\[
p_\xi (x) = \int _{\mathbb {R}} p_{\xi \mid \eta }(x \mid y) \, p_\eta (y) \, dy, \qquad p_{\eta \mid \xi }(y \mid x) = \frac{p_{\xi \mid \eta }(x \mid y)\, p_\eta (y)}{\int _{\mathbb {R}} p_{\xi \mid \eta }(x \mid u)\, p_\eta (u)\, du}.
\]
И два полезных крайних случая: если \(\xi \; \perp \! \! \! \perp \; \eta\), то условное распределение совпадает с безусловным (\(K(y, \cdot ) = \mathbb {P}_\xi\)); а условное распределение суммы при известном слагаемом — сдвиг: \(\mathbb {P}\left(\xi + \eta \in \cdot \mid \xi = x\right) = \mathbb {P}_{x + \eta }\) (свёрточное ядро; Кленке, пример 8.33).
Интерактивная иллюстрация ещё не создана. См. исходник: /home/nedosh/Documents/online_math_notes/math-notes_FPMI_2/courses/nedosh_courses/courses/04-probability/02_PT/contents/specials/120/01_conditional_slice_fig.tex.
\(X \sim \operatorname {U}[0,1]\); при известном \(X = x\) величины \(Y_1, \ldots , Y_n\) независимы и \(\operatorname {Bern}(x)\)-распределены. Запишите модель формально и найдите \(\mathbb {P}\left(Y_1 = \ldots = Y_n = 1\right)\).
Формально модель — это в точности задание переходного ядра \(K(x, \cdot ) = \left(\operatorname {Bern}(x)\right)^{\otimes n}\) из \([0,1]\) в \(\left\{ 0,1\right\}^n\) и требование, чтобы оно было регулярным условным распределением вектора \(Y\) относительно \(X\): интуитивная запись «\(\mathbb {P}\left(Y_1 = \ldots = Y_n = 1 \mid X = x\right) = x^n\)» становится теоремой о ядре. Тогда по определению Определение 2 (взяв \(C = [0,1]\)): \[
\mathbb {P}\left(Y_1 = \ldots = Y_n = 1\right) = \int _0^1 x^n \, dx = \frac{1}{n+1}.
\] Обратите внимание: двухэтапное описание («сначала случайный параметр, затем эксперимент при данном параметре») — это конструкция совместного распределения из маргинала и ядра. Так строятся все иерархические модели: байесовская статистика, скрытые марковские цепи, генеративные модели.
Парадокс Бореля–Колмогорова
Существенное предостережение: условное распределение при условии события нулевой вероятности зависит от того, значением какой величины мы это событие считаем.
Пусть \(X, Y \sim \mathscr {N}\left(0, 1\right)\) независимы. Найдите условное распределение \(X\) при условии (а) \(Y - X = 0\); (б) \(Y/X = 1\). Оба условия задают одно и то же событие \(\left\{ X = Y\right\}\) (с точностью до нулевого события \(X = 0\)). Совпадают ли ответы?
(а) Пара \((X, \, Y - X)\) гауссовская; по теореме об условном распределении гауссовского вектора (тема 10) условное распределение \(X\) при \(Y - X = 0\) есть \(\mathscr {N}\left(0, \frac12\right)\): плотность \(\propto e^{-x^2}\). (б) Перейдём к паре \((X, \, W)\), \(W = Y/X\). Совместная плотность через якобиан (\(y = wx\), \(\left|\partial y / \partial w\right| = \left|x\right|\)):
\[
p_{X, W}(x, w) = p_{X,Y}(x, wx)\left|x\right| = \frac{1}{2\pi }e^{-\frac{x^2(1 + w^2)}{2}}\left|x\right|,
\]
и условная плотность \(X\) при \(W = 1\) пропорциональна \(\left|x\right| e^{-x^2}\) — другое распределение (с нулевой плотностью в нуле!).
Противоречия нет: «условие на событие \(\left\{ X = Y\right\}\)» само по себе не определено — определено условие на значение случайной величины, и ядра для \(\eta_1 = Y - X\) и \(\eta_2 = Y/X\) — разные объекты, каждый согласован с совместным распределением по-своему. Интуитивно: \(\left\{ X = Y\right\}\) как предел полосок \(\left\{ \left|Y - X\right| < \varepsilon \right\}\) и как предел клиньев \(\left\{ \left|Y/X - 1\right| < \varepsilon \right\}\) — разные пределы: клин у нуля сжимается быстрее, вытесняя массу от нуля (множитель \(\left|x\right|\)). Практический вывод: формулировка «при условии \(A\)» с \(\mathbb {P}\left(A\right) = 0\) обязана указывать величину, через которую взято условие.
Классическая версия (Кленке, упражнение 8.3.5): точка равномерна на сфере; при фиксированной долготе широта \(\Phi\) распределена не равномерно вдоль меридиана, а с плотностью \(\propto \left|\cos \varphi \right|\) (меридиан «толще» у экватора — сожмите узкий сферический клин и посмотрите на его ширину), хотя при фиксированной широте долгота равномерна. «Равномерность на большом круге» зависит от того, какой координатой этот круг вырезан.
Формула полной дисперсии
Утверждение 1 (формула полной дисперсии) Для \(\xi \in L^2\): \[
\operatorname {Var}\left[\xi \right] = \mathbb {E}\left[\operatorname {Var}\left[ \xi \mid \eta \right]\right] + \operatorname {Var}\left[\mathbb {E}\left[ \xi \mid \eta \right]\right],
\] где \(\operatorname {Var}\left[ \xi \mid \eta \right] := \mathbb {E}\left[ \left(\xi - \mathbb {E}\left[\xi \right][\eta ]\right)^2 \mid \eta \right]\) — условная дисперсия.
Читается как разложение неопределённости: средняя внутригрупповая плюс межгрупповая дисперсия (в статистике — дисперсионный анализ; в ML — разложение ошибки). Доказательство — телескопичность плюс пифагорово разложение из теоремы о наилучшем прогнозе (тема 11); проделайте его.
Гауссовский случай: напоминание
Для совместно гауссовских векторов условные распределения выписываются явно — это теорема об условном распределении гауссовского вектора из темы 10: условное распределение снова гауссовское,
\[
\mathbb {E}\left[ X \mid Y \right] = \mu _X + \Sigma _{XY}\Sigma _{YY}^{-1}(Y - \mu _Y), \qquad \operatorname {Var}\left[ X \mid Y \right] = \Sigma _{XX} - \Sigma _{XY}\Sigma _{YY}^{-1}\Sigma _{YX},
\]
прогноз линеен, условная ковариация постоянна. В терминах этой темы: гауссовское регулярное условное распределение — это ядро \(K(y, \cdot ) = \mathscr {N}\left(\mu_X + \Sigma_{XY}\Sigma_{YY}^{-1}(y - \mu_Y), \; \Sigma_{XX} - \Sigma_{XY}\Sigma_{YY}^{-1}\Sigma_{YX}\right)\), и вся зависимость от условия сидит в сдвиге среднего. Одномерная версия с корреляцией \(\rho\):
\[
\mathbb {E}\left[ X \mid Y \right] = \mu _X + \rho \frac{\sigma _X}{\sigma _Y}(Y - \mu _Y), \qquad \operatorname {Var}\left[ X \mid Y \right] = \sigma _X^2\left(1 - \rho ^2\right)
\]
— уравнение линейной регрессии со знаменитым эффектом регрессии к среднему (Гальтон): при \(\left|\rho \right| < 1\) прогноз всегда ближе к среднему (в единицах стандартных отклонений), чем наблюдение. Сын очень высокого отца в среднем высок, но ниже отца; за блестящим кварталом компании в среднем следует более обычный — не «закон подлости», а \(\rho < 1\). Непонимание этого эффекта — источник бесчисленных ложных выводов об «эффективности» наказаний и поощрений.
Интерактивная иллюстрация ещё не создана. См. исходник: /home/nedosh/Documents/online_math_notes/math-notes_FPMI_2/courses/nedosh_courses/courses/04-probability/02_PT/contents/specials/120/02_regression_line_fig.tex.
Достаточные статистики (факультативно)
Регулярные условные распределения — язык, на котором формулируется одно из центральных понятий статистики. Пусть распределение данных зависит от неизвестного параметра: \(\mathbb {P} \in \left\{ \mathbb {P}_\theta , \theta \in \Theta \right\}\).
Определение 3 Статистика \(T\) (функция данных) называется достаточной для семейства \(\left\{ \mathbb {P}_\theta \right\}\), если условное распределение данных относительно \(T\) не зависит от \(\theta\): существует единое ядро \(K(t, \cdot )\), служащее регулярным условным распределением при каждом \(\theta\).
Смысл: узнав \(T\), о параметре из остальных деталей данных больше ничего не выжать — вся информация о \(\theta\) сжата в \(T\) без потерь. Это даёт колоссальную редукцию: вместо \(n\) чисел — одно-два.
\(X_1, \ldots , X_n\) — независимые \(\operatorname {Bern}(\theta )\), \(T = X_1 + \ldots + X_n\). Покажите, что \(T\) достаточна.
Для набора \(x = (x_1, \ldots , x_n)\) с суммой \(t\): \[
\mathbb {P}\left(X = x \mid T = t\right) = \frac{\mathbb {P}\left(X = x\right)}{\mathbb {P}\left(T = t\right)} = \frac{\theta ^{t}(1-\theta )^{n - t}}{C_n^{t}\, \theta ^{t}(1-\theta )^{n-t}} = \frac{1}{C_n^{t}}
\] — параметр сократился: при известном числе успехов их расположение равновероятно по всем \(C_n^t\) вариантам, какой бы ни была \(\theta\). Значит, \(T\) достаточна: порядок нулей и единиц не несёт информации о вероятности успеха. Общий критерий, избавляющий от прямой проверки, — теорема факторизации (Ширяев, теорема 7): для доминированного семейства с плотностями \(g_\theta\) статистика \(T\) достаточна тогда и только тогда, когда \(g_\theta (x) = \widehat{g}_\theta (T(x))\, h(x)\) — зависимость от \(\theta\) проходит только через \(T\).
Теорема 4 (Рао–Блэквелл; Ширяев, теорема 8; формулировка) Пусть \(T\) достаточна и \(\widehat{\theta }\) — любая оценка параметра с конечным вторым моментом. Тогда \(\widetilde{\theta } := \mathbb {E}\left[ \widehat{\theta } \mid T \right]\) — корректная оценка (не зависит от \(\theta\) благодаря достаточности!), и \[
\mathbb {E}\left[\left(\widetilde{\theta } - \theta \right)^2\right] \leq \mathbb {E}\left[\left(\widehat{\theta } - \theta \right)^2\right] \qquad \text{при каждом } \theta .
\]
Это прямое следствие теоремы о наилучшем прогнозе: проекция на \(\sigma (T)\) может только уменьшить среднеквадратичную ошибку. Практическое прочтение: любую оценку можно бесплатно улучшить, усреднив её по достаточной статистике, — поэтому хорошие оценки всегда являются функциями достаточных статистик. Курс 3 сделает эту идею одним из своих стержней.
Задачи
Точка \((X, Y)\) равномерно распределена в треугольнике \(\left\{ x, y \geq 0, \; x + y \leq 1\right\}\). Найдите условную плотность \(p_{Y \mid X}(y \mid x)\), регрессионную функцию \(\mathbb {E}\left[ Y \mid X = x \right]\) и величину \(\mathbb {E}\left[ Y \mid X \right]\).
(Кленке, пример 8.30.) \(Z_1 \sim \operatorname {Pois}(\lambda_1)\) и \(Z_2 \sim \operatorname {Pois}(\lambda_2)\) независимы. Найдите условное распределение \(Z_1\) при условии \(Z_1 + Z_2 = n\).
(Кленке, упражнение 8.3.3.) Точка \((X, Y)\) равномерно распределена (а) в круге \(x^2 + y^2 \leq 1\); (б) в квадрате \([-1,1]^2\). Пусть \(R = \sqrt{X^2+Y^2}\), \(\Theta\) — полярный угол. В обоих случаях найдите условное распределение \(\Theta\) при условии \(R = r\) и сравните.
(Байесовская тарификация.) Интенсивность аварий клиента \(\Lambda \sim \Gamma (\alpha , \beta )\), и при известном \(\Lambda = \lambda\) число аварий за год \(N \sim \operatorname {Pois}(\lambda )\) (модель задана ядром \(K(\lambda , \cdot ) = \operatorname {Pois}(\lambda )\)). Найдите условное распределение \(\Lambda\) при условии \(N = n\) и прогноз \(\mathbb {E}\left[ \Lambda \mid N = n \right]\). Покажите, что прогноз — взвешенное среднее априорного среднего и наблюдения.
\(X_1, X_2, X_3 \sim \mathscr {N}\left(1, 1\right)\) независимы; \(U = 2X_1 - X_2 + X_3\), \(V = X_1 + 2X_2 + 3X_3\). Найдите условное распределение \(V\) при условии \(U = 3\).
(Формула полной дисперсии в деле.) В условиях формулы Вальда (тема 11: \(S = \xi_1 + \ldots + \xi_N\), иски н.о.р. с \(\mathbb {E}\left[\xi_1\right] = m\), \(\operatorname {Var}\left[\xi_1\right] = \sigma^2\), число исков \(N\) независимо от исков) найдите \(\operatorname {Var}\left[S\right]\).
Метод отклонения (rejection sampling)
(Кленке, упражнение 8.3.6.) Пусть \(P\) и \(Q\) — распределения на счётном множестве \(E\), и \(f(e) := \frac{Q(\left\{ e\right\} )}{P(\left\{ e\right\} )} \leq c\) для всех \(e\) с \(P(\left\{ e\right\} ) > 0\). Генератор умеет выдавать независимые \(X_1, X_2, \ldots \sim P\) и независимые \(U_1, U_2, \ldots \sim \operatorname {U}[0,1]\). Положим \[
N = \min \left\{ n \colon U_n \leq f(X_n)/c\right\} , \qquad Y := X_N.
\] Докажите, что \(Y \sim Q\), и найдите \(\mathbb {E}\left[N\right]\).