Этот конспект ещё находится в процессе редактуры: в тексте могут встречаться опечатки, неточности и локально не проработанные места. Если что-то нашли — сообщите, пожалуйста, автору (контакты на странице курса).
Вторая часть курса — предельные теоремы о распределениях: центральная предельная теорема утверждает, что распределение нормированной суммы близко к нормальному. Чтобы это стало теоремой, а не лозунгом, нужно точное понятие близости распределений — слабая сходимость. Оно же обслуживает всю асимптотическую статистику (доверительные интервалы — это утверждения о слабых пределах), численные схемы (биномиальные деревья в финансах сходятся к непрерывным моделям слабо) и теорию случайных процессов (принцип инвариантности Донскера: случайное блуждание слабо сходится к винеровскому процессу). Наша программа: правильное определение (и почему «наивное» не годится), теорема Александрова об эквивалентных описаниях, и пара «плотность + теорема Прохорова» — компактностный инструмент, которым доказываются теоремы существования пределов.
Определение и первые примеры
Определение 1 Последовательность вероятностных мер \(\mathbb {P}_n\) на \((\mathbb {R}, \mathscr {B}\left(\mathbb {R}\right))\) слабо сходится к мере \(\mathbb {P}\) (пишем \(\mathbb {P}_n \Rightarrow \mathbb {P}\)), если \[
\int _{\mathbb {R}} f \, d\mathbb {P}_n \xrightarrow [n \to \infty ]{} \int _{\mathbb {R}} f \, d\mathbb {P} \qquad \text{для любой ограниченной непрерывной } f.
\] Случайные величины \(\xi_n \xrightarrow {d} \xi\), если \(\mathbb {P}_{\xi_n} \Rightarrow \mathbb {P}_\xi\); эквивалентно (тема 4): \(F_{\xi_n}(x) \to F_\xi (x)\) во всех точках непрерывности \(F_\xi\) (сходимость в основном).
Почему в определении через ФР исключаются точки разрыва — видно на простейшем примере.
Пусть \(\xi_n = \frac{1}{n}\) (вырожденные величины). Покажите, что \(\xi_n \xrightarrow {d} 0\), хотя \(F_{\xi_n}(0) \not\to F_0(0)\).
Здравый смысл требует, чтобы «\(\frac1n\) сходилось к \(0\)» в любом разумном смысле. Проверим определение Определение 1: для ограниченной непрерывной \(f\) имеем \(\int f \, d\mathbb {P}_{\xi_n} = f\left(\frac1n\right) \to f(0)\) — слабая сходимость есть. Но ФР: \[
F_{\xi _n}(0) = \mathbb {P}\left(\xi _n \leq 0\right) = 0 \quad \not\to \quad F_0(0) = 1.
\] В точке \(x = 0\) — точке разрыва предельной ФР — поточечной сходимости нет и не должно быть: масса «подползает» к нулю справа, и любое пороговое событие \(\left\{ \xi \leq 0\right\}\) видит её скачком. Определение через непрерывные \(f\) нечувствительно к этому пограничному эффекту — в этом его смысл. (А если бы мы потребовали сходимость ФР всюду, то \(\frac1n \to 0\) было бы неверно — такое «определение» никуда не годится.)
Теорема 1 (Александрова, portmanteau) Следующие условия эквивалентны:
\(\mathbb {P}_n \Rightarrow \mathbb {P}\);
\(\limsup_n \mathbb {P}_n(C) \leq \mathbb {P}(C)\) для всех замкнутых \(C\);
\(\liminf_n \mathbb {P}_n(G) \geq \mathbb {P}(G)\) для всех открытых \(G\);
\(\mathbb {P}_n(A) \to \mathbb {P}(A)\) для всех борелевских \(A\) с \(\mathbb {P}(\partial A) = 0\);
\(F_n(x) \to F(x)\) во всех точках непрерывности \(F\).
Асимметрия пунктов 2–3 — то же «подползание массы»: замкнутое множество может внезапно получить массу на границе в пределе, открытое — потерять. Пункт 4 — практический: вероятности множеств сходятся, если предельная мера не грузит границу. Доказательство — Ширяев [@shiryaev2016probability], гл. 3, 1.
Пусть \(\xi_n = \frac1n\) (как в примере). Для каких из множеств \(A_1 = (0, \infty )\), \(A_2 = [0, \infty )\), \(A_3 = \left\{ 0\right\}\), \(A_4 = [\frac12, 1]\) выполняется \(\mathbb {P}\left(\xi_n \in A_i\right) \to \mathbb {P}\left(0 \in A_i\right)\)? Сверьте с пунктом 4 теоремы Александрова.
Пусть \(\xi_n\) равномерно распределена на решётке \(\left\{ \frac1n, \frac2n, \ldots , \frac{n}{n}\right\}\). Докажите, что \(\xi_n \xrightarrow {d} \operatorname {U}[0,1]\).
Пусть \(\xi_n\) имеет плотность \(p_n(x) = \left(1 + \cos (2\pi n x)\right) \; \mathbb {1}_{[0,1]}(x)\). Докажите, что \(\xi_n \xrightarrow {d} \operatorname {U}[0,1]\), хотя плотности \(p_n\) не сходятся к плотности \(\; \mathbb {1}_{[0,1]}\) ни в одной точке (кроме точек, где \(\cos = 0\)).
Плотность и теорема Прохорова
Слабый предел может не существовать по банальной причине: масса убегает на бесконечность. Пример: \(\xi_n \sim \operatorname {U}[n, n+1]\) — каждая ФР честная, но \(F_{\xi_n}(x) \to 0\) при каждом \(x\): «предельная функция» тождественно нулевая, не ФР. Условие, запрещающее побег массы:
Определение 2 Семейство мер \(\left\{ \mathbb {P}_\alpha \right\}\) плотно (tight), если для любого \(\varepsilon > 0\) найдётся компакт \(K = [-C, C]\) с \(\sup_\alpha \mathbb {P}_\alpha (\mathbb {R} \setminus K) \leq \varepsilon\).
Теорема 2 (Прохоров) Семейство вероятностных мер на \(\mathbb {R}\) (и вообще на польском пространстве) относительно компактно в смысле слабой сходимости (из любой последовательности можно извлечь слабо сходящуюся к вероятностной мере подпоследовательность) тогда и только тогда, когда оно плотно.
Схема «\(\Leftarrow\)» на прямой: по теореме Хелли о выборе из любой последовательности ФР извлекается поточечно сходящаяся (диагональный метод по рациональным точкам); плотность гарантирует, что предельная функция набирает полную единицу массы, т.е.является ФР. Теорема Прохорова — вероятностный аналог компактности: она превращает доказательство сходимости в два шага — (i) плотность (нет побега массы) + (ii) единственность предельной точки (обычно через характеристические функции, тема 8). По этой схеме мы докажем ЦПТ, а курс СП — принцип инвариантности. У Ширяева — гл. 3, 2 [@shiryaev2016probability].
Интерактивная иллюстрация ещё не создана. См. исходник: /home/nedosh/Documents/online_math_notes/math-notes_FPMI_2/courses/nedosh_courses/courses/04-probability/02_PT/contents/specials/070/01_weak_convergence_panels_fig.tex.
Докажите: если \(\sup_n \mathbb {E}\left[\left|\xi_n\right|\right] = C < \infty\), то семейство распределений \(\left\{ \mathbb {P}_{\xi_n}\right\}\) плотно. Приведите пример плотного семейства, у которого все матожидания бесконечны.
Пусть \(\xi_n \xrightarrow {d} \xi\) и \(\eta_n \xrightarrow {d} \eta\). Обязательно ли \(\xi_n + \eta_n \xrightarrow {d} \xi + \eta\)? А если дополнительно \(\xi_n \; \perp \! \! \! \perp \; \eta_n\) при каждом \(n\) и \(\xi \; \perp \! \! \! \perp \; \eta\)?