Этот конспект ещё находится в процессе редактуры: в тексте могут встречаться опечатки, неточности и локально не проработанные места. Если что-то нашли — сообщите, пожалуйста, автору (контакты на странице курса).
Реальные данные почти никогда не одномерны: рост и вес, цена акции и цена нефти, время отклика и нагрузка сервера. Пара случайных величин — это не «две случайные величины», а один объект — случайный вектор: его распределение содержит информацию не только о каждой координате, но и о зависимости между ними. Потеря этой информации стоит дорого: финансовый кризис 2008 года в заметной части — история о том, как риск-модели знали маргинальные распределения дефолтов по отдельности, но неверно моделировали их совместное распределение. В этой теме мы научимся работать с совместными распределениями: находить маргиналы, проверять независимость и — главная вычислительная техника — преобразовывать плотности при гладких заменах (якобиан).
Совместное распределение
Определение 1 Случайный вектор — это измеримое отображение \(\xi = (\xi_1, \ldots , \xi_n)\colon \Omega \to \mathbb {R}^{n}\) (эквивалентно: каждая координата \(\xi_i\) — случайная величина). Его распределение — мера \(\mathbb {P}_\xi (B) = \mathbb {P}\left(\xi \in B\right)\), \(B \in \mathscr {B}\left(\mathbb {R}^{n}\right)\); совместная функция распределения — \[
F_\xi (x_1, \ldots , x_n) = \mathbb {P}\left(\xi _1 \leq x_1, \ldots , \xi _n \leq x_n\right).
\]
Как и в одномерном случае, совместная ФР — полный паспорт распределения (лучи-«углы» образуют \(\pi\)-систему, порождающую \(\mathscr {B}\left(\mathbb {R}^{n}\right)\)). Но свойства «неубывающая + пределы» теперь не характеризуют ФР: нужно больше.
Утверждение 1 (вероятность прямоугольника) Для \(n = 2\) и любых \(a_1 < b_1\), \(a_2 < b_2\) \[
\mathbb {P}\left(\xi _1 \in (a_1, b_1], \; \xi _2 \in (a_2, b_2]\right) = F(b_1, b_2) - F(a_1, b_2) - F(b_1, a_2) + F(a_1, a_2) \geq 0.
\] Неотрицательность этой комбинации (вместе с непрерывностью справа и «правильными» пределами; для \(n > 2\) — аналогичная знакопеременная сумма по вершинам параллелепипеда) — и есть характеризация совместных ФР.
Определение 2 Вектор \(\xi\) имеет (совместную) плотность \(p_\xi\), если \[
\mathbb {P}\left(\xi \in B\right) = \int _B p_\xi (x_1, \ldots , x_n) \, dx_1 \cdots dx_n \qquad \text{для всех } B \in \mathscr {B}\left(\mathbb {R}^{n}\right).
\] Маргинальная (частная) плотность координаты получается интегрированием по остальным: \[
p_{\xi _1}(x_1) = \int _{\mathbb {R}^{n-1}} p_\xi (x_1, x_2, \ldots , x_n) \, dx_2 \cdots dx_n.
\]
Направление «совместная \(\to\) маргинальные» — механическое интегрирование. Обратное направление не работает: маргиналы не определяют совместное распределение.
Пусть \(X \sim \operatorname {U}[0,1]\). Рассмотрим два вектора: \((X, X)\) и \((X, Y)\), где \(Y \sim \operatorname {U}[0,1]\) не зависит от \(X\). Покажите, что у них одинаковые маргинальные распределения, но разные совместные.
Маргиналы обоих векторов — \(\operatorname {U}[0,1]\) по каждой координате. Но совместные распределения различны радикально: вектор \((X,X)\) живёт на диагонали квадрата \([0,1]^2\) — множестве нулевой площади, у него даже нет совместной плотности! — а \((X,Y)\) равномерно размазан по всему квадрату. Например, \[
\mathbb {P}\left(X = X\right) = 1, \qquad \mathbb {P}\left(X = Y\right) = 0.
\] Вся разница — в структуре зависимости. Именно поэтому в риск-менеджменте нельзя «склеить» модель портфеля из маргинальных моделей активов: нужна совместная модель (в актуарной практике этот зазор закрывают копулами — функциями, кодирующими зависимость отдельно от маргиналов).
Независимость и критерии
Из темы 1: величины независимы, если независимы порождённые ими \(\sigma\)-алгебры, и по критерию через \(\pi\)-системы достаточно факторизации совместной ФР. Для векторов с плотностью всё ещё удобнее:
Утверждение 2 (критерии независимости) Пусть \(\xi = (\xi_1, \ldots , \xi_n)\). Следующие условия эквивалентны:
\(\xi_1, \ldots , \xi_n\) независимы;
\(F_\xi (x_1, \ldots , x_n) = F_{\xi_1}(x_1) \cdots F_{\xi_n}(x_n)\) для всех \(x_i\);
(если есть совместная плотность) \(p_\xi (x_1, \ldots , x_n) = p_{\xi_1}(x_1) \cdots p_{\xi_n}(x_n)\) почти всюду. Практическое усиление пункта 3: если \(p_\xi (x_1, \ldots , x_n) = g_1(x_1) \cdots g_n(x_n)\) для каких-нибудь неотрицательных функций \(g_i\), то координаты независимы (нормировочные константы разберутся сами).
Замена переменных
Главный вычислительный инструмент темы — перенос плотности под гладкую замену координат. Одномерный случай (тема 1) обобщается так:
Теорема 1 (о замене переменных) Пусть случайный вектор \(\xi\) имеет плотность \(p_\xi\), сосредоточенную на открытом множестве \(D \subseteq \mathbb {R}^{n}\), и \(\Psi \colon D \to G \subseteq \mathbb {R}^{n}\) — диффеоморфизм (биекция, гладкая вместе с обратной). Тогда вектор \(\eta = \Psi (\xi )\) имеет плотность \[
p_\eta (y) = p_\xi \left(\Psi ^{-1}(y)\right) \cdot \left|\det J_{\Psi ^{-1}}(y)\right|, \qquad y \in G,
\] где \(J_{\Psi^{-1}}\) — матрица Якоби обратного отображения.
Смысл якобиана — локальный коэффициент искажения объёма: маленький параллелепипед объёма \(dv\) около точки \(y\) — это образ параллелепипеда объёма \(\left|\det J_{\Psi^{-1}}(y)\right| \, dv\) около точки \(\Psi^{-1}(y)\), а вероятность попадания в него должна сохраниться. Доказательство — ровно это соображение, применённое через формулу замены переменных в кратном интеграле Лебега (ОВиТМ).
Интерактивная иллюстрация ещё не создана. См. исходник: /home/nedosh/Documents/online_math_notes/math-notes_FPMI_2/courses/nedosh_courses/courses/04-probability/02_PT/contents/specials/020/01_jacobian_grid_fig.tex.
Рабочий протокол применения теоремы Теорема 1 (выучите его как алгоритм):
выписать \(\Psi\) и найти образ \(G\) носителя (не забыть индикаторы!);
найти обратное отображение \(\Psi^{-1}\);
посчитать \(\det J_{\Psi^{-1}}\) (часто проще посчитать \(\det J_{\Psi }\) и обратить: \(\det J_{\Psi^{-1}}(y) = 1\big/\det J_\Psi \left(\Psi^{-1}(y)\right)\));
собрать формулу и проверить нормировку хотя бы прикидкой.
Если нужна плотность одной функции от вектора (скажем, \(\xi_1 + \xi_2\)), дополните её до замены полной размерности (\(\eta_1 = \xi_1 + \xi_2\), \(\eta_2 = \xi_2\)), а потом проинтегрируйте лишнюю координату — этот трюк мы доведём до автоматизма в теме 3 на свёртках.
Случайный вектор \((X, Y)\) имеет равномерное распределение в круге \(D=\left\{ (x, y)\colon x^{2}+y^{2} \leq 1\right\}\).
Найдите плотности случайных величин \(X\) и \(Y\). Независимы ли они?
Пусть \((R, \Theta )\) — полярные координаты точки \((X, Y)\). Найдите плотность вектора \((R, \Theta )\) и плотности \(R\) и \(\Theta\). Независимы ли \(R\) и \(\Theta\)?
Является ли \(F(x, y)=\left(1-\frac{1}{x+y}\right) \; \mathbb {1}_{x+y \geq 1}\) функцией распределения какого-нибудь случайного вектора?
Случайный вектор \((X, Y)\) имеет плотность \[
p_{X, Y}(x, y)= \begin{cases} c x y, & 0 \leq x \leq 1, \; 0 \leq y \leq \sqrt{x}, \\ 0, & \text{иначе}. \end{cases}
\] Найдите \(c\) и маргинальные плотности. Независимы ли \(X\) и \(Y\)? Какова вероятность \(\mathbb {P}\left(2X + Y \leq 1\right)\)?
Даны независимые \(\xi_{1}, \xi_{2} \sim \operatorname {U}[0,1]\) и \(\xi_{3} \sim \operatorname {Exp}(\lambda )\). Найдите \(\mathbb {P}\left(\xi_{1}+\xi_{3} \geq 3\right)\).
Пусть \(\xi_{1}, \xi_{2} \sim \operatorname {Exp}(1)\) независимы. Докажите, что случайные величины \(\dfrac {\xi_{1}}{\xi_{1}+\xi_{2}}\) и \(\xi_{1}+\xi_{2}\) независимы, и найдите их распределения.
\(X, Y, Z \sim \operatorname {Exp}(1)\) независимы. Какова вероятность, что существует треугольник со сторонами \(X, Y, Z\)?
Даны независимые \(\xi_{1} \sim \operatorname {Exp}(\lambda_1)\) и \(\xi_{2} \sim \operatorname {Pois}(\lambda_2)\). Найдите \(\mathbb {P}\left(\xi_{1} \geq 2 \xi_{2}\right)\).
Порядковые статистики
Пусть \(\xi_{1}, \ldots , \xi_{n}\) — независимые одинаково распределённые величины с ФР \(F\) и плотностью \(p\). Обозначим \(\xi_{(1)} \leq \ldots \leq \xi_{(n)}\) их порядковые статистики (те же значения, упорядоченные по возрастанию). Найдите:
плотность вектора \(\left(\xi_{(1)}, \ldots , \xi_{(n)}\right)\);
плотность \(\xi_{(k)}\);
плотность вектора \(\left(\xi_{(1)}, \xi_{(n)}\right)\).
Интерактивная иллюстрация ещё не создана. См. исходник: /home/nedosh/Documents/online_math_notes/math-notes_FPMI_2/courses/nedosh_courses/courses/04-probability/02_PT/contents/specials/020/02_support_region_fig.tex.