Этот конспект ещё находится в процессе редактуры: в тексте могут встречаться опечатки, неточности и локально не проработанные места. Если что-то нашли — сообщите, пожалуйста, автору (контакты на странице курса).
Закон больших чисел — обещание, на котором держится вся эмпирическая наука: частоты стабилизируются, средние сходятся. Страхование существует, потому что средний убыток по большому портфелю почти детерминирован; опросы работают, потому что доля в выборке приближает долю в популяции; метод Монте-Карло считает интегралы, потому что среднее по симуляциям сходится к матожиданию. В этой теме мы пройдём путь от простого \(L^2\)-аргумента (ЗБЧ Чебышёва) до усиленного ЗБЧ Колмогорова — сходимости почти наверное при минимальном условии \(\mathbb {E}\left[\left|\xi_1\right|\right] < \infty\) — и соберём по дороге инструменты, ценные сами по себе: неравенство Колмогорова, теорему о сходимости рядов, леммы Тёплица и Кронекера.
Интерактивная иллюстрация ещё не создана. См. исходник: /home/nedosh/Documents/online_math_notes/math-notes_FPMI_2/courses/nedosh_courses/courses/04-probability/02_PT/contents/specials/060/01_lln_trajectories_fig.tex.
Слабые законы: сходимость по вероятности
Теорема 1 (ЗБЧ Чебышёва) Пусть \(\xi_1, \xi_2, \ldots\) — попарно некоррелированные величины с \(\mathbb {E}\left[\xi_i\right] = a\) и \(\sup_i \operatorname {Var}\left[\xi_i\right] \leq C < \infty\). Тогда \[
\frac{S_n}{n} = \frac{\xi _1 + \ldots + \xi _n}{n} \xrightarrow {L^2} a, \qquad \text{а значит, и } \frac{S_n}{n} \xrightarrow {\mathbb {P}} a.
\]
Доказательство — две строки, и обе поучительны:
\[
\mathbb {E}\left[\left(\frac{S_n}{n} - a\right)^2\right] = \operatorname {Var}\left[\frac{S_n}{n}\right] = \frac{1}{n^2}\sum _{i=1}^n \operatorname {Var}\left[\xi _i\right] \leq \frac{C}{n} \to 0,
\]
где дисперсия суммы распалась в сумму дисперсий из-за попарной некоррелированности (тема 3). Заметьте, чего мы не требовали: ни независимости (только некоррелированность!), ни одинаковой распределённости. Скорость \(\frac{C}{n}\) для квадрата ошибки — то есть \(\frac{1}{\sqrt{n}}\) для самой ошибки — это правильный порядок (ЦПТ, тема 9, сделает это точным).
Усиленные законы: сходимость почти наверное
Слабый закон говорит: в фиксированный поздний момент среднее близко к \(a\) с большой вероятностью. Усиленный — что вся траектория средних с некоторого момента остаётся близкой навсегда (сходимость п.н.). Разница — ровно та, что между \(\mathbb {P}\)- и п.н.-сходимостью (тема 4), и мостом служит лемма Бореля–Кантелли (тема 5).
Теорема 2 (УЗБЧ Кантелли) Пусть \(\xi_i\) независимы, \(\mathbb {E}\left[\xi_i\right] = a\) и \(\sup_i \mathbb {E}\left[(\xi_i - a)^4\right] \leq C < \infty\). Тогда \(\frac{S_n}{n} \to a\) п.н.
Доказательство — образец схемы «оценка момента + Борель–Кантелли». Пусть \(a = 0\). Раскрывая \(\mathbb {E}\left[S_n^4\right]\), из независимости и центрированности выживают лишь слагаемые \(\mathbb {E}\left[\xi_i^4\right]\) (их \(n\)) и \(\mathbb {E}\left[\xi_i^2\right]\mathbb {E}\left[\xi_j^2\right]\) (их \(3n(n-1)\)), поэтому \(\mathbb {E}\left[S_n^4\right] \leq 3Cn^2\) (используем \(\mathbb {E}\left[\xi^2\right]^2 \leq \mathbb {E}\left[\xi^4\right]\) — Ляпунов). По неравенству Маркова
\[
\mathbb {P}\left(\left|\tfrac {S_n}{n}\right| > \varepsilon \right) = \mathbb {P}\left(S_n^4 > \varepsilon ^4 n^4\right) \leq \frac{3C}{\varepsilon ^4 n^2},
\]
ряд сходится, и следствие cor:bc_as (Борель–Кантелли) даёт сходимость п.н. Четвёртый момент понадобился ровно затем, чтобы ряд стал суммируемым: со вторым моментом получилось бы \(\frac{C}{\varepsilon^2 n}\) — расходящийся ряд.
Избавление от лишних моментов — заслуга Колмогорова. Два инструмента:
Теорема 3 (неравенство Колмогорова) Пусть \(\xi_1, \ldots , \xi_n\) независимы, центрированы, с конечными дисперсиями. Тогда \[
\mathbb {P}\left(\max _{1 \leq k \leq n} \left|S_k\right| \geq \varepsilon \right) \leq \frac{\operatorname {Var}\left[S_n\right]}{\varepsilon ^2}.
\]
Это максимальное усиление неравенства Чебышёва: слева максимум по всем частичным суммам, а правая часть та же! (Доказательство — разложение по первому моменту выхода за уровень \(\varepsilon\); этот приём — прообраз мартингальной техники курса СП, где неравенство Колмогорова станет частным случаем неравенства Дуба.)
Теорема 4 (Колмогорова–Хинчина о сходимости рядов) Пусть \(\xi_n\) независимы, центрированы. Если \(\sum_n \operatorname {Var}\left[\xi_n\right] < \infty\), то ряд \(\sum_n \xi_n\) сходится п.н.
(Следует из неравенства Колмогорова, применённого к хвостам ряда.) Наконец, чтобы переходить от рядов к средним, нужны две детерминированные леммы:
Лемма 1 (Тёплиц; Кронекер) (Тёплиц) Если \(x_n \to x\), то средние \(\frac{1}{n}\sum_{k=1}^n x_k \to x\). (Кронекер) Если ряд \(\sum_n \frac{y_n}{n}\) сходится, то \(\frac{1}{n}\sum_{k=1}^n y_k \to 0\).
Теорема 5 (УЗБЧ Колмогорова) Пусть \(\xi_1, \xi_2, \ldots\) независимы и одинаково распределены. Тогда \[
\frac{S_n}{n} \to a \text{ п.н.\ для некоторой константы } a \quad \Longleftrightarrow \quad \mathbb {E}\left[\left|\xi _1\right|\right] < \infty ,
\] и в этом случае \(a = \mathbb {E}\left[\xi_1\right]\).
Схема прямой импликации: усечение \(\tilde\xi_n = \xi_n \; \mathbb {1}_{\left|\xi_n\right| \leq n}\) (усечённые и исходные величины различаются лишь конечное число раз п.н.— Борель–Кантелли плюс хвостовая формула); затем \(\sum_n \frac{\operatorname {Var}\left[\tilde\xi_n\right]}{n^2} < \infty\) (аккуратная оценка), теорема Теорема 4 для ряда \(\sum \frac{\tilde\xi_n - \mathbb {E}\left[\tilde\xi_n\right]}{n}\) и лемма Кронекера. Обратная импликация — задача темы 5: при \(\mathbb {E}\left[\left|\xi_1\right|\right] = \infty\) уже отдельные слагаемые \(\frac{\xi_n}{n}\) не стремятся к нулю п.н. Полное доказательство — Ширяев [@shiryaev2016probability], гл. 4 (там же — закон 0–1 Хьюитта–Сэвиджа и другие усиления).
Условие \(\mathbb {E}\left[\left|\xi_1\right|\right] < \infty\) — точная граница применимости усреднения. Для распределения Коши (тема 1) средние \(\frac{S_n}{n}\) распределены снова по Коши при каждом \(n\) и не сходятся ни в каком смысле: усреднение не помогает. Практический тест: прежде чем доверять среднему по данным, спросите себя, конечно ли теоретическое матожидание — для тяжёлых хвостов (страховые катастрофы, крипто-доходности) ответ бывает отрицательным, и тогда «среднее по выборке» — бессмысленное число.
Число \(x \in [0,1]\) называется нормальным в основании 2, если доля единиц среди первых \(n\) двоичных цифр стремится к \(\frac12\) (аналогично для любого основания и любого блока цифр). Докажите, что почти все числа отрезка \([0,1]\) (по мере Лебега) нормальны.
Пусть \(\omega \sim \operatorname {U}[0,1]\), и \(b_1(\omega ), b_2(\omega ), \ldots\) — его двоичные цифры. Ключевое наблюдение (проверьте через двоичные интервалы!): цифры \(b_i\) — независимые \(\operatorname {Bern}\left(\frac12\right)\)-величины. По УЗБЧ \[
\frac{b_1 + \ldots + b_n}{n} \to \frac12 \quad \text{п.н.},
\] т.е.множество ненормальных чисел имеет меру нуль. Тот же аргумент по блокам цифр: любая фиксированная комбинация («00110») встречается с асимптотической частотой \(2^{-5}\) п.н. Поразительный контраст: почти каждое число нормально, но ни про одну «живую» константу (\(\sqrt2\), \(\pi\), \(e\)) нормальность не доказана. Вероятность умеет доказывать существование в подавляющем количестве, не предъявляя ни одного примера, — это «вероятностный метод», ставший в комбинаторике отдельной индустрией.
Пусть \(\xi_1, \xi_2, \ldots\) независимы, \(\mathbb {P}\left(\xi_i = 1\right) = p\), \(\mathbb {P}\left(\xi_i = -1\right) = 1-p\). Пусть \(\eta_{n}\) — число перемен знака в последовательности \(\xi_{1}, \ldots , \xi_{n}\). Докажите, что \(\frac{\eta_{n}}{n}\) сходится п.н., и найдите предел.
\(X_{1}, \ldots , X_{n}\) — независимые \(\Gamma (\alpha , 1)\)-величины. Выборочные среднее и дисперсия: \[
\overline{X} = \frac{1}{n} \sum _{i=1}^{n} X_{i}, \qquad S^2 = \frac{1}{n}\sum _{i=1}^n \left(X_i - \overline{X}\right)^2.
\] Докажите, что \(S^{2}\) сходится почти наверное, и найдите предел.
(Случайные знаки, продолжение.) Пусть \(\varepsilon_n\) — независимые знаки \(\pm 1\) с вероятностями \(\frac12\). При каких \(\alpha > 0\) ряд \(\sum_n \frac{\varepsilon_n}{n^\alpha }\) сходится п.н.?
Вложенные круги
Точка \(\xi_{1}\) выбирается равномерно в единичном круге; \(\xi_{n+1}\) — равномерно в круге радиуса \(\left|\xi_{n}\right|\) с центром в нуле. Докажите, что \[
\frac{\ln \left|\xi _{n}\right|}{n} \xrightarrow {\text{п.н.}} c,
\] и найдите \(c\).
(Монте-Карло с гарантией.) Хотим оценить \(I = \int_0^1 f(x)\, dx\) для измеримой \(f\colon [0,1] \to [0,1]\) методом Монте-Карло: \(\widehat{I}_n = \frac1n\sum_{i=1}^n f(U_i)\), \(U_i \sim \operatorname {U}[0,1]\) независимы. Сколько симуляций гарантируют \(\mathbb {P}\left(\left|\widehat{I}_n - I\right| > 0{.}01\right) \leq 0{.}05\)?
Эквивалентные формулировки
Теорема 6 (Слабый ЗБЧ) Пусть \(X_1, X_2, \ldots\) – это НОРСВ. Тогда следующие условия эквивалентны:
- \[
\frac{1}{n}\sum _{k=1}^{n}X_k \xrightarrow [n \to \infty ]{\mathbb {P}} a
\]
для некоторого \(a \in \mathbb {R}\)
\(n \mathbb {P}\left(\left|X_1\right| > n\right) \xrightarrow [n \to \infty ]{} 0\) и \(\mathbb {E}\left[X_1 \cdot \; \mathbb {1}_{[-n,n]}(X_1)\right] \xrightarrow [n \to \infty ]{} a\) для некоторого \(a\in \mathbb {R}\);
Хар. функция \(\varphi_{X_1}(t)\) дифференцируема в \(t = 0\) и \(\varphi_{X_1}'(0) = ia\) для некоторого \(a \in \mathbb {R}\). Если выполнено хотя бы одно условие, то выполнены и остальные, причем число \(a\) будет совпадать во всех пунктах.
Теорема 7 (Усиленный ЗБЧ/ЗБЧ в \(L^1\)) Пусть \(X_1, X_2, \ldots\) – это НОРСВ. Тогда следующие условия эквивалентны:
- \[
\frac{1}{n}\sum _{k=1}^{n}X_k \xrightarrow [n \to \infty ]{\text{п.н.}} a
\]
для некоторого \(a \in \mathbb {R}\)
- \[
\frac{1}{n}\sum _{k=1}^{n}X_k \xrightarrow [n \to \infty ]{L^1} a
\]
для некоторого \(a \in \mathbb {R}\)
- \(X_1 \in L^1\) (т.е. \(\mathbb {E}\left[\left|X_1\right|\right] < \infty\)), \(a := \mathbb {E}\left[X_1\right]\). Если выполнено хотя бы одно условие, то выполнены и остальные, причем число \(a\) будет совпадать во всех пунктах.
Теорема 8 (ЗБЧ в \(L^2\)) Пусть \(X_1, X_2, \ldots\) – это НОРСВ. Тогда следующие условия эквивалентны:
\(X_1 \in L^2\) (т.е. \(\mathbb {E}\left[\left|X_1\right|^2\right] < \infty\)), \(a := \mathbb {E}\left[X_1\right]\).
\[
\frac{1}{n}\sum _{k=1}^{n}X_k \xrightarrow [n \to \infty ]{L^2} a
\]
для некоторого \(a \in \mathbb {R}\)
- \[
\frac{1}{n}\sum _{k=1}^{n}X_k \xrightarrow [n \to \infty ]{\text{полн.}} a
\]
для некоторого \(a \in \mathbb {R}\) Если выполнено хотя бы одно условие, то выполнены и остальные, причем число \(a\) будет совпадать во всех пунктах.