Этот конспект ещё находится в процессе редактуры: в тексте могут встречаться опечатки, неточности и локально не проработанные места. Если что-то нашли — сообщите, пожалуйста, автору (контакты на странице курса).
Вся вторая половина курса — предельные теоремы, и прежде чем их доказывать, надо поговорить о возможных вариантах сходимостей.
Четыре сходимости
Определение 1 Пусть \(\xi , \xi_1, \xi_2, \ldots\) — случайные величины (для первых трёх пунктов — на одном вероятностном пространстве).
\(\xi_n \to \xi\) почти наверное (п.н.), если \(\mathbb {P}\left(\omega \colon \xi_n(\omega ) \to \xi (\omega )\right) = 1\).
\(\xi_n \xrightarrow {\mathbb {P}} \xi\) по вероятности, если \(\mathbb {P}\left(\left|\xi_n - \xi \right| \geq \varepsilon \right) \to 0\) для любого \(\varepsilon > 0\).
\(\xi_n \xrightarrow {L^p} \xi\) в \(L^p\) (\(p \geq 1\)), если \(\mathbb {E}\left[\left|\xi_n - \xi \right|^p\right] \to 0\).
\(\xi_n \xrightarrow {d} \xi\) по распределению, если \(F_{\xi_n}(x) \to F_\xi (x)\) во всех точках непрерывности \(F_\xi\).
Первые две — знакомые из ОВиТМ сходимости почти всюду и по мере, третья — сходимость в лебеговом пространстве \(L^p\). Четвёртая — новая и принципиально другого сорта: она говорит только о распределениях, величины могут жить на разных пространствах (подробно займёмся ею в теме 7).
Теорема 1 (диаграмма связей)
\(\xi_n \to \xi\) п.н. \(\Longrightarrow\) \(\xi_n \xrightarrow {\mathbb {P}} \xi\);
\(\xi_n \xrightarrow {L^p} \xi\) \(\Longrightarrow\) \(\xi_n \xrightarrow {\mathbb {P}} \xi\) (неравенство Маркова); \(L^s \Rightarrow L^r\) при \(r < s\) (Ляпунов);
\(\xi_n \xrightarrow {\mathbb {P}} \xi\) \(\Longrightarrow\) \(\xi_n \xrightarrow {d} \xi\);
из \(\xi_n \xrightarrow {\mathbb {P}} \xi\) следует существование подпоследовательности \(\xi_{n_k} \to \xi\) п.н.;
если \(\xi_n \xrightarrow {d} c\), где \(c\) — константа, то \(\xi_n \xrightarrow {\mathbb {P}} c\). Никакие другие стрелки, вообще говоря, не верны.
Интерактивная иллюстрация ещё не создана. См. исходник: /home/nedosh/Documents/online_math_notes/math-notes_FPMI_2/courses/nedosh_courses/courses/04-probability/02_PT/contents/specials/040/01_convergence_diagram_fig.tex.
Все положительные утверждения, кроме пункта 3, вы по существу доказали в ОВиТМ (сходимость по мере и \(L^p\)); пункт 3 разобран в теме 7. Отрицательные — контрпримеры — надо знать поимённо; два главных таковы.
На \(\Omega = [0,1]\) с мерой Лебега постройте последовательность \(\xi_n \xrightarrow {\mathbb {P}} 0\), у которой \(\xi_n(\omega )\) не сходится ни при одном \(\omega\).
Пробегаем по \([0,1]\) индикаторами всё более коротких отрезков, как каретка пишущей машинки: первая «строка» — \(\; \mathbb {1}_{[0,1]}\); вторая — \(\; \mathbb {1}_{[0,\frac12]}, \; \mathbb {1}_{[\frac12,1]}\); третья — \(\; \mathbb {1}_{[0,\frac14]}, \ldots , \; \mathbb {1}_{[\frac34,1]}\); и так далее. Для \(n\)-го члена длина отрезка \(\to 0\), поэтому \(\mathbb {P}\left(\left|\xi_n\right| \geq \varepsilon \right) \to 0\) — сходимость по вероятности (и даже в любом \(L^p\): \(\mathbb {E}\left[\xi_n^p\right] =\) длина отрезка \(\to 0\)). Но каждая точка \(\omega\) попадает в отрезки каждой «строки», т.е.бесконечно часто \(\xi_n(\omega ) = 1\) и бесконечно часто \(\xi_n(\omega ) = 0\): предела нет ни в одной точке. Сходимость по вероятности контролирует каждый момент времени по отдельности, но ничего не говорит о судьбе индивидуальной траектории.
Интерактивная иллюстрация ещё не создана. См. исходник: /home/nedosh/Documents/online_math_notes/math-notes_FPMI_2/courses/nedosh_courses/courses/04-probability/02_PT/contents/specials/040/02_typewriter_fig.tex.
Там же постройте \(\xi_n \to 0\) п.н., у которой \(\mathbb {E}\left[\xi_n\right] \not\to 0\).
Возьмём \(\xi_n = n \cdot \; \mathbb {1}_{[0, \frac1n]}\). Для каждого \(\omega > 0\) с некоторого номера \(\xi_n(\omega ) = 0\) — сходимость п.н.(и по вероятности). Но \[
\mathbb {E}\left[\xi _n\right] = n \cdot \frac{1}{n} = 1 \not\to 0.
\] Малая вероятность большого значения может держать матожидание: «редко, но метко». Этот эффект — не игрушка: выборочное среднее доходностей с тяжёлыми хвостами, страховые убытки с редкими катастрофами — всюду, где моменты определяются хвостами, сходимость значений не влечёт сходимости средних. Лекарство — равномерная интегрируемость (ниже).
Полезен и критерий сходимости п.н., сводящий её к «вероятностному» языку:
Утверждение 1 (критерий сходимости п.н.) \(\xi_n \to \xi\) п.н.тогда и только тогда, когда для любого \(\varepsilon > 0\) \[
\mathbb {P}\left(\sup _{k \geq n} \left|\xi _k - \xi \right| \geq \varepsilon \right) \xrightarrow [n \to \infty ]{} 0.
\]
Сравните с определением сходимости по вероятности: там под вероятностью стоит \(\left|\xi_n - \xi \right|\), здесь — супремум по всему «хвосту» последовательности. Разница между «плохие события в момент \(n\) редки» и «после момента \(n\) плохих событий больше не будет» — ровно разница между \(\mathbb {P}\)- и п.н.-сходимостью.
Пусть \(\sum_{n=1}^{\infty }\mathbb {E}\left[\left|X_n - X\right|^p\right] < \infty\) для некоторого \(p > 0\) (для \(L^p\) сходимости считайте, что \(p \geq 1\)). Докажите, что \[
X_n \xrightarrow [n \to \infty ]{L^p, \text{полн.}} X
\]
Докажите, что \[
X_n \xrightarrow [n \to \infty ]{L^{\infty }} X \iff \text{для любого $\varepsilon > 0$ } \mathbb {P}\left(\left|X_n - X\right| > \varepsilon \right) = 0 \text{ для всех достаточно больших $n$}
\]
Наследование сходимостей
Теорема 2 (о наследовании) Пусть \(g\colon \mathbb {R} \to \mathbb {R}\) непрерывна. Если \(\xi_n \to \xi\) п.н./ по вероятности / по распределению, то \(g(\xi_n) \to g(\xi )\) в том же смысле.
Теорема 3 (о наследовании) Пусть \(g\colon \mathbb {R} \to \mathbb {R}\) равномерно непрерывна. Тогда наследуется полная сходимость.
Теорема 4 (о наследовании) Пусть \(g\colon \mathbb {R} \to \mathbb {R}\) липшицева. Тогда наследуется сходимость в среднем.
Теорема 5 (Слуцкий) Пусть \(\xi_n \xrightarrow {d} \xi\) и \(\eta_n \xrightarrow {\mathbb {P}} c\), где \(c\) — константа. Тогда \[
\xi _n + \eta _n \xrightarrow {d} \xi + c, \qquad \xi _n \eta _n \xrightarrow {d} c\xi , \qquad \xi _n / \eta _n \xrightarrow {d} \xi / c \; (c \neq 0).
\]
Предостережение: складывать две сходимости по распределению нельзя (\(\xi_n \xrightarrow {d} \xi\), \(\eta_n \xrightarrow {d} \eta\) \(\not\Rightarrow\) \(\xi_n + \eta_n \xrightarrow {d} \xi + \eta\): возьмите \(\xi_n = \eta\), \(\eta_n = -\eta\) для симметричной \(\eta\)). Слуцкий — то исключение, где один из пределов вырожден; в статистике это главный инструмент: заменить неизвестную дисперсию её состоятельной оценкой в ЦПТ (стьюдентизация) — это в точности теорема Слуцкого. Курс 3 пользуется ею на каждом шагу (дельта-метод).
Пусть \(\xi_{1}, \xi_2, \ldots \sim \operatorname {U}[0,1]\) независимы, \(M_{n}=\max \left(\xi_{1}, \ldots , \xi_{n}\right)\). Исследуйте сходимость \(M_n\): (а) по распределению; (б) по вероятности; (в) почти наверное; (г) в \(L_{2}\). Затем найдите предел по распределению величины \(n(1 - M_n)\).
Пусть \(\xi_n\) и \(\xi\) принимают значения в \(\mathbb {Z}\). Докажите, что \(\xi_{n} \xrightarrow {d} \xi\) тогда и только тогда, когда \(\mathbb {P}\left(\xi_n = m\right) \to \mathbb {P}\left(\xi = m\right)\) для каждого \(m \in \mathbb {Z}\).
Пусть \(\xi_n \xrightarrow {\mathbb {P}} \xi\) и \(\left|\xi_n\right| \leq \eta\) п.н. при всех \(n\), где \(\mathbb {E}\left[\eta^p\right] < \infty\). Докажите, что \(\xi_n \xrightarrow {L^p} \xi\).
Метрика сходимости по вероятности
Для случайных величин \(\xi , \eta\) положим \[
\rho (\xi , \eta )= \mathbb {E}\left[\frac{\left|\xi - \eta \right|}{1 + \left|\xi - \eta \right|}\right].
\] Докажите, что \(\xi_{n} \xrightarrow {\mathbb {P}} \xi\) тогда и только тогда, когда \(\rho \left(\xi_{n}, \xi \right) \to 0\).
Пусть \(p \in \mathbb {N}\). Правда ли, что \[
X_n \xrightarrow [n \to \infty ]{L^p} X \iff X_n^p \xrightarrow [n \to \infty ]{L} X^p
\] Рассмотрите 4 случая: \(p\) четно или нечетно; \(X_n, X\) неотрицательны и произвольных знаков.
Равномерная интегрируемость
Пример «растущего пика» показал: сходимость значений не влечёт сходимости средних — масса может убегать в «редкие, но большие» значения. Т.е. мы имеем последовательность случайных величин из \(L^1\), сходящуюся п.н., но не сходящуюся в \(L^1\). При этом эта последовательность была ограниченна в \(L^1\) (т.е. нормы в \(L^1\) были ограниченны общей константой)! При п.н. сходимости ограниченность в \(L^1\) недостаточна, чтобы гарантировать сходимость в \(L^1\). Оказывается, любое условие “посильнее” ограниченности в \(L^1\) достаточно.
Теорема 6 (Равномерная интегрируемость) Пусть \(\left\{ \xi_\alpha \right\}_{\alpha \in A}\) – это некоторое семейство случайных величин. Следующие условия эквивалентны:
- найдется неубывающая выпуклая функция \(G: \mathbb {R}_+ \to \mathbb {R}_+\), растущая быстрее тождественной (т.е. \(G(t)/t \to +\infty\) при \(t \to +\infty\)), что \(G\)-моменты семейства (или я не знаю как назвать) ограниченны: найдется \(M>0\), что
\[
\mathbb {E}\left[G\left(\left|\xi _{\alpha }\right|\right)\right] \leq M
\]
для любого \(\alpha \in A\)
- распределения не слишком сильно убегают на бесконечность:
\[
\sup _{\alpha \in A} \mathbb {E}\left[\left|\xi _\alpha \right| \cdot \; \mathbb {1}_{\left|\xi _\alpha \right| > C}\right] \xrightarrow [C \to \infty ]{} 0.
\]
- Семейство \(\left\{ \xi_{\alpha }\right\}\) ограниченно в \(L^1\) (т.е. найдется \(M>0\), что \(\mathbb {E}\left[\left|\xi_{\alpha }\right|\right] \leq M\) для всех \(\alpha \in A\)), и для любого \(\varepsilon > 0\) найдется такое \(\delta > 0\), что для любого измеримого \(A\) такого, что \(\mathbb {P}\left(A\right) \leq \delta\) выполнено
\[
\mathbb {E}\left[\left|\xi \right| \cdot \; \mathbb {1}_{A}\right] \leq \varepsilon
\] Семейство, удовлетворяющее любому из этих эквивалентных условий, называется равномерно интегрируемым (РИ).
Теорема 7 (Витали) Пусть \(1 \leq p < +\infty\) – произвольное (конечное!) число. Следующие условия эквивалентны:
\(\xi_n \xrightarrow {L^p} \xi\);
\(\xi_n \xrightarrow {\mathbb {P}} \xi\) и семейство \(\left\{ \left|\xi_n\right|^p\right\}\) равномерно интегрируемо;
\(\xi_n \xrightarrow {\mathbb {P}} \xi\) и \(\mathbb {E}\left[\left|\xi_n\right|^p\right] \to \mathbb {E}\left[\left|\xi \right|^p\right]\).
Это точный ответ на вопрос «когда можно переходить к пределу под матожиданием», расширяющий мажорируемую сходимость: мажоранта — частный случай РИ. В курсе случайных процессов теорема Витали — обязательный инструмент (оптимальные остановки, мартингалы: равномерная интегрируемость мартингала — условие «замыкаемости»). У Ширяева РИ и предельные переходы — гл. 2, 6 [@shiryaev2016probability].
(а) Проверьте, что «растущий пик» \(\xi_n = n\; \mathbb {1}_{[0, 1/n]}\) — не РИ семейство. (б) Пусть \(\xi_n \xrightarrow {\mathbb {P}} \xi\) и \(\sup_n \mathbb {E}\left[\xi_n^2\right] < \infty\). Докажите, что \(\mathbb {E}\left[\xi_n\right] \to \mathbb {E}\left[\xi \right]\). Верно ли, что \(\mathbb {E}\left[\xi_n^2\right] \to \mathbb {E}\left[\xi^2\right]\)?
Докажите, что если \(\xi_{n} \xrightarrow {d} \xi\) и \(F_{\xi }\) непрерывна, то \(F_{\xi_{n}} \to F_{\xi }\) равномерно на \(\mathbb {R}\).