Этот конспект ещё находится в процессе редактуры: в тексте могут встречаться опечатки, неточности и локально не проработанные места. Если что-то нашли — сообщите, пожалуйста, автору (контакты на странице курса).
Три сюжета этой темы объединяет один вопрос: что можно сказать о сумме случайных величин? Суммы — главные герои прикладной вероятности: суммарный убыток страхового портфеля, накопленная ошибка измерений, суммарный спрос на товар, доход портфеля активов. Свёртка отвечает на вопрос «каково распределение суммы независимых слагаемых», ковариация — «что происходит с дисперсией суммы зависимых», а неравенства (Коши–Буняковского–Шварца, Йенсена, Ляпунова) — рабочие инструменты, которыми мы будем оценивать моменты весь оставшийся курс.
Свёртка
Теорема 1 (формула свёртки) Пусть \(\xi \; \perp \! \! \! \perp \; \eta\). Тогда распределение суммы \(\xi + \eta\) — свёртка распределений:
(дискретный случай) \(\mathbb {P}\left(\xi + \eta = z\right) = \sum_{x} \mathbb {P}\left(\xi = x\right) \mathbb {P}\left(\eta = z - x\right)\);
(непрерывный случай) если \(\xi\) имеет плотность \(p_\xi\), то \(\xi + \eta\) имеет плотность
\[
p_{\xi + \eta }(z) = \int _{\mathbb {R}} p_\xi (x) \, dF_\eta (z - x) \; \overset {\text{если есть } p_\eta }{=} \; \int _{\mathbb {R}} p_\xi (x) \, p_\eta (z-x) \, dx.
\]
Вывод непрерывного случая — образцовое применение техники темы 2: дополняем сумму до замены полной размерности \(\Psi (x, y) = (x + y, y)\) с якобианом \(1\), получаем \(p_{(\xi +\eta ,\, \eta )}(z, y) = p_\xi (z - y) p_\eta (y)\) и интегрируем лишнюю координату. Заметьте: достаточно плотности у одного слагаемого — свёртка «сглаживает» (сумма непрерывного с чем угодно непрерывна).
Интерактивная иллюстрация ещё не создана. См. исходник: /home/nedosh/Documents/online_math_notes/math-notes_FPMI_2/courses/nedosh_courses/courses/04-probability/02_PT/contents/specials/030/01_uniform_convolution_fig.tex.
Свёртки удобно накапливать в таблицу «устойчивых» семейств — проверьте каждую строчку (часть — в задачах ниже, часть станет тривиальной в теме 8 через характеристические функции):
| \(\operatorname {Pois}(\lambda _1) * \operatorname {Pois}(\lambda _2)\) |
\(\operatorname {Pois}(\lambda _1 + \lambda _2)\) |
| \(\Gamma (\alpha _1, \lambda ) * \Gamma (\alpha _2, \lambda )\) |
\(\Gamma (\alpha _1 + \alpha _2, \lambda )\) |
| \(\mathscr {N}\left(a_1, \sigma _1^2\right) * \mathscr {N}\left(a_2, \sigma _2^2\right)\) |
\(\mathscr {N}\left(a_1 + a_2, \sigma _1^2 + \sigma _2^2\right)\) |
| \(\operatorname {Cauchy} * \operatorname {Cauchy}\) |
\(\operatorname {Cauchy}\) (с суммой параметров) |
Пусть \(\xi \sim \operatorname {Pois}(\lambda_1)\) и \(\eta \sim \operatorname {Pois}(\lambda_2)\) независимы. Докажите, что \(\xi + \eta \sim \operatorname {Pois}(\lambda_1 + \lambda_2)\).
Величины \(\xi_{1} \sim \operatorname {Bern}(0{.}5)\) и \(\xi_{2} \sim \operatorname {U}[0,1]\) независимы. Найдите распределение \(\xi_{1}+\xi_{2}\).
Пусть \(\xi_1, \ldots , \xi_n \sim \operatorname {Exp}(\lambda )\) независимы, \(S_n = \xi_1 + \ldots + \xi_n\).
Докажите, что \(S_n \sim \Gamma (n, \lambda )\).
(Электрички.) Электрички приходят через независимые \(\operatorname {Exp}(\lambda )\)-интервалы. Пусть \(X_T\) — число электричек, прошедших к моменту \(T\). Докажите, что \(X_T \sim \operatorname {Pois}(\lambda T)\).
Пусть \(\xi , \eta \sim \mathscr {N}\left(0, 1\right)\) независимы. Найдите распределение \(\xi /\eta\).
\(X, Y, Z \sim \operatorname {U}[0,1]\) независимы. Найдите распределение \(W=(X Y)^{Z}\).
Ковариация и корреляция
Определение 1 Для \(\xi , \eta \in L^2\) ковариация и корреляция: \[
\operatorname {Cov}\left[ \xi , \eta \right] = \mathbb {E}\left[(\xi - \mathbb {E}\left[\xi \right])(\eta - \mathbb {E}\left[\eta \right])\right] = \mathbb {E}\left[\xi \eta \right] - \mathbb {E}\left[\xi \right]\mathbb {E}\left[\eta \right], \qquad \operatorname {Corr}\left[ \xi , \eta \right] = \frac{\operatorname {Cov}\left[ \xi , \eta \right]}{\sqrt{\operatorname {Var}\left[\xi \right]\operatorname {Var}\left[\eta \right]}}.
\]
Утверждение 1 (свойства)
Ковариация билинейна и симметрична; \(\operatorname {Cov}\left[ \xi , \xi \right] = \operatorname {Var}\left[\xi \right]\).
\(\operatorname {Var}\left[\sum_i \xi_i\right] = \sum_i \operatorname {Var}\left[\xi_i\right] + 2\sum_{i < j} \operatorname {Cov}\left[ \xi_i, \xi_j \right]\); для попарно некоррелированных слагаемых дисперсии складываются.
Если \(\xi \; \perp \! \! \! \perp \; \eta\), то \(\operatorname {Cov}\left[ \xi , \eta \right] = 0\). Обратное неверно (задача ниже).
\(\left|\operatorname {Corr}\left[ \xi , \eta \right]\right| \leq 1\), причём равенство достигается тогда и только тогда, когда \(\eta = a\xi + b\) п.н.для некоторых констант \(a \neq 0\), \(b\).
Ковариационная матрица вектора \(\xi\), \(\Sigma_{ij} = \operatorname {Cov}\left[ \xi_i, \xi_j \right]\), симметрична и неотрицательно определена: для любого \(v \in \mathbb {R}^{n}\)
\[
v^T \Sigma v = \operatorname {Var}\left[v^T \xi \right] \geq 0.
\]
Пункт 5 — микроскопическая формула с большими последствиями: дисперсия любого портфеля \(v^T\xi\) (веса \(v\), активы \(\xi\)) полностью определяется ковматрицей. На этом стоит портфельная теория Марковица: диверсификация работает ровно настолько, насколько отрицательны (или малы) ковариации; корреляция — это язык, на котором финансы говорят о риске. Оборотная сторона (урок 2008 года из темы 2): корреляция измеряет только линейную зависимость, и некоррелированность — совсем не независимость.
Пусть \(X \sim \mathscr {N}\left(0, 1\right)\) и \(Y = X^2\). Докажите, что \(X\) и \(Y\) некоррелированы, но зависимы.
Докажите пункт 4 утверждения Утверждение 1: \(\left|\operatorname {Corr}\left[ \xi , \eta \right]\right| \leq 1\), с равенством тогда и только тогда, когда \(\eta\) — линейная функция \(\xi\) (п.н.).
(Предельная диверсификация.) Пусть \(\xi_1, \ldots , \xi_n\) — величины с единичными дисперсиями и попарными корреляциями, равными одному и тому же числу \(\rho\).
Докажите, что \(\rho \geq -\frac{1}{n-1}\).
Пусть \(\rho \geq 0\). Покажите, что дисперсия среднего \(\frac{1}{n}\sum \xi_i\) при \(n \to \infty\) стремится к \(\rho\), а не к нулю.
Неравенства
Теорема 2 (Йенсен) Пусть \(g\) выпукла и \(\xi\), \(g(\xi )\) интегрируемы. Тогда \[
g\left(\mathbb {E}\left[\xi \right]\right) \leq \mathbb {E}\left[g(\xi )\right].
\] Для вогнутых функций знак противоположный. Если \(g\) строго выпукла, равенство достигается только для вырожденной \(\xi = \operatorname {const}\) п.н.
Доказательство — одна строка через опорную прямую: у выпуклой \(g\) в точке \(m = \mathbb {E}\left[\xi \right]\) есть прямая \(\ell (x) = g(m) + k(x - m) \leq g(x)\); берём матожидание от обеих частей.
Интерактивная иллюстрация ещё не создана. См. исходник: /home/nedosh/Documents/online_math_notes/math-notes_FPMI_2/courses/nedosh_courses/courses/04-probability/02_PT/contents/specials/030/02_jensen_fig.tex.
Следствие 1 (неравенство Ляпунова) Для \(0 < r < s\) \[
\left(\mathbb {E}\left[\left|\xi \right|^r\right]\right)^{1/r} \leq \left(\mathbb {E}\left[\left|\xi \right|^s\right]\right)^{1/s}.
\] В частности, из конечности старшего момента следует конечность всех младших.
Действительно, функция \(x \mapsto x^{s/r}\) выпукла на \([0, \infty )\), и по Йенсену \(\left(\mathbb {E}\left[\left|\xi \right|^r\right]\right)^{s/r} \leq \mathbb {E}\left[\left|\xi \right|^s\right]\). Вместе с уже использованным КБШ и неравенствами Гёльдера и Минковского из ОВиТМ (\(L^p\)-пространства) это наш полный «оценочный арсенал» на семестр.
Пусть \(\xi > 0\), причём \(\xi\) и \(1/\xi\) интегрируемы. Докажите, что \(\mathbb {E}\left[\frac{1}{\xi }\right] \geq \frac{1}{\mathbb {E}\left[\xi \right]}\), и выясните, когда достигается равенство. Дайте интерпретацию: средняя скорость и среднее время.
Пусть \(\xi\) — невырожденная случайная величина с \(\mathbb {E}\left[\xi^2\right] < \infty\), \(\mathbb {E}\left[\xi \right] = a > 0\). Сравните \(\mathbb {E}\left[\ln \xi \right]\) с \(\ln a\) (считая \(\xi >0\) и \(\ln \xi\) интегрируемой) и докажите, что \(\mathbb {E}\left[\xi^4\right] \geq \left(\mathbb {E}\left[\xi^2\right]\right)^2 \geq \left(\mathbb {E}\left[\xi \right]\right)^4\).