Ковариация, сходимости случайных величин, предельные теоремы

ПредупреждениеЧерновик

Этот конспект ещё находится в процессе редактуры: в тексте могут встречаться опечатки, неточности и локально не проработанные места. Если что-то нашли — сообщите, пожалуйста, автору (контакты на странице курса).

1 Ковариация, корреляция

Определение 1 Ковариацей случайных величин \(\xi , \eta\) называется

\[ \operatorname {Cov}\left[ \xi , \eta \right] = \mathbb {E}\left[\left(\xi - \mathbb {E}\left[\xi \right]\right) \cdot \left(\eta - \mathbb {E}\left[\eta \right]\right)\right] \]

Сразу раскроем ее, используя линейность матожидания:

\[ \operatorname {Cov}\left[ \xi , \eta \right] = \mathbb {E}\left[\xi \eta \right] - \mathbb {E}\left[\xi \right] \cdot \mathbb {E}\left[\eta \right] - \mathbb {E}\left[\xi \right] \cdot \mathbb {E}\left[\eta \right] + \mathbb {E}\left[\xi \right] \cdot \mathbb {E}\left[\eta \right] = \mathbb {E}\left[\xi \eta \right]- \mathbb {E}\left[\xi \right] \cdot \mathbb {E}\left[\eta \right] \]

Ковариация существует, если существуют первые моменты \(\mathbb {E}\left[\xi \right]\), \(\mathbb {E}\left[\eta \right]\) и \(\mathbb {E}\left[\xi \eta \right]\).

Корреляцией случайных величин \(\xi , \eta\) называется дробь

\[ \operatorname {Corr}\left[ \xi , \eta \right] = \frac{\operatorname {Cov}\left[ \xi , \eta \right]}{\sqrt{\operatorname {Var}\left[\xi \right] \operatorname {Var}\left[\eta \right]}} \]

Она существует, если существуют соотв. дисперсии.

Корреляция является в некотором смысле мерой зависимости случайных величин \(\xi , \eta\). Так, если случайные величины \(\xi , \eta\) независимы, то \(\operatorname {Corr}\left[ \xi , \eta \right] =0\). Если же \(\operatorname {Corr}\left[ \xi , \eta \right] = \pm 1\), то случайные величины линейно зависимы.

Свойства ковариации

• Ковариация симметрична: \(\operatorname {Cov}\left[ \xi , \eta \right] = \operatorname {Cov}\left[ \eta , \xi \right]\);

• Ковариация билинейна:

  \[ \begin{align} \operatorname {Cov}\left[ a_1\xi _1 + a_2\xi _2, \eta \right] & = a_1\operatorname {Cov}\left[ \xi _1, \eta \right] + a_2 \operatorname {Cov}\left[ \xi _2, \eta \right] \\ \operatorname {Cov}\left[ \xi , b_1\eta _1 + b_2\eta _2 \right] & = b_1\operatorname {Cov}\left[ \xi , \eta _1 \right] + b_2 \operatorname {Cov}\left[ \xi , \eta _2 \right] \end{align} \]

• \(\operatorname {Cov}\left[ \xi , \xi \right] = \operatorname {Var}\left[\xi \right]\);

• \(\operatorname {Cov}\left[ \xi , \eta \right] = \mathbb {E}\left[\xi \eta \right] - \mathbb {E}\left[\xi \right]\mathbb {E}\left[\eta \right]\);

• если \(\xi , \eta\) независимы, то \(\operatorname {Cov}\left[ \xi , \eta \right]=0\);

• если \(c\in \mathbb {R}\) – некоторая константа, то \(\operatorname {Cov}\left[ \xi + c, \eta \right] = \operatorname {Cov}\left[ \xi , \eta \right]\);

• \(\operatorname {Var}\left[\xi_{1}+\ldots +\xi_{n}\right]=\operatorname {Var}\left[\xi_{1}\right]+\ldots +\operatorname {Var}\left[\xi_{n}\right]+\sum_{i \neq j} \operatorname {Cov}\left[ \xi_i, \xi_j \right]\).

ExampleПример 1

Приведите пример двух зависимых случайных величин \(\xi , \eta\), ковариация которых равна \(0\).

SolutionРешение

Суть: ковариация показывает степень линейной зависимости. Однако зависимость может быть нелинейная, при том, что коэффициент линейной зависимости равен \(0\).

Положим \(\Omega =\left\{ \omega_{1}, \omega_{2}, \omega_{3}\right\}\) с вероятностями по \(1/3\). Заданим на элементарных исходах \(\xi\), \(\eta\) следующим образом:

	\(\omega _1\)	\(\omega _2\)	\(\omega _3\)
\(\mathbb {P}\left(\omega _i\right)\)	\(1/3\)	\(1/3\)	\(1/3\)
\(\xi\)	\(1\)	\(1\)	\(0\)
\(\eta\)	\(1\)	\(-1\)	\(0\)

• Заметим, что \(\xi \eta = \eta\) и \(\mathbb {E}\left[\eta \right] = 1 \cdot \frac{1}{3} - 1 \cdot \frac{1}{3} + 0 \cdot \frac{1}{3} = 0\), следовательно

  \[ \operatorname {Cov}\left[ \xi , \eta \right] = \mathbb {E}\left[\xi \eta \right] - \mathbb {E}\left[\xi \right]\mathbb {E}\left[\eta \right] = \mathbb {E}\left[\eta \right] - \mathbb {E}\left[\xi \right] \cdot \mathbb {E}\left[\eta \right] = 0 - \frac{2}{3} \cdot 0 = 0 \]

• Случайные величины зависимы. Действительно, \(\mathbb {P}\left(\xi = 0\right) = \mathbb {P}\left(\eta = 0\right) = \mathbb {P}\left(\omega_3\right) = \frac{1}{3}\), при этом

  \[ \mathbb {P}\left(\xi =0, \eta =0\right) = \mathbb {P}\left(\omega _3\right) =\frac{1}{3} \neq \frac{1}{3} \cdot \frac{1}{3} = \mathbb {P}\left(\xi = 0\right) \cdot \mathbb {P}\left(\eta = 0\right) \]

В данном случае зависимость есть, но она нелинейная: \(\xi = \eta^2\) или \(\xi = \left|\eta \right|\).

2 Индикаторный метод

ExampleПример 2

Дана таблица (сетка) \(5 \times 4\). Паук хочет дойти из левого нижнего узла в правый верхний по сторонам клеток таблицы. Он может ходить только направо или вверх. Из всех возможных путей длины \(9\) паук выбирает свой путь равновероятно. Вычислите

1. мат. ожидание,

2. дисперсию и ст. отклонение (корень из дисперсии) количества поворотов, которые он совершит в пути.

Рисунок 1: Сетка \(5\times 4\): паук идёт только направо или вверх. В данном примере пути паук сделал \(5\) поворотов.

SolutionРешение

Вообще говоря, в подобных задачах можно обходиться без формализма с вероятностной тройкой, сразу переходя к расчетам, но для наглядности мы построим вероятностное пространство.

Паук обязан сделать \(5\) переходов по горизонтальным сторонам и \(4\) по вертикальным. Соотв. эксперимент можно формализовать так:

\[ \Omega = \left\{ \omega = \left(\omega _1, \ldots , \omega _9\right) \quad : \quad \omega _i \in \left\{ 0,1\right\} , \; \sum _{1}^9 \omega _i = 4\right\} , \quad \mathcal{F} = 2^{\Omega }, \quad \mathbb {P}\left(B\right) = \frac{\left|B\right|}{\left|\Omega \right|} = \frac{\left|B\right|}{C_{9}^5}, \; B \in \mathcal{F} \]

\(0\) соответствует переходу направо, \(1\) – вверх.

Заметим, что количество поворотов \(X\) – это количество в \(\omega \in \left\{ 0,1\right\}^9\) подпоследовательностей вида \(0,1\) или \(1,0\). Т.е.

\[ \begin{align} X & = \; \mathbb {1}_{A_1} + \ldots + \; \mathbb {1}_{A_8} = \sum _{k=1}^{8} \; \mathbb {1}_{A_{k}}= \sum _{k=1}^{8} \bigg[\; \mathbb {1}_{\left\{ \omega _{k} = 1, \; \omega _{k+1} = 0\right\} } + \; \mathbb {1}_{\left\{ \omega _{k} = 0, \; \omega _{k+1} = 1\right\} }\bigg] \end{align} \]

где \(A_i = \left\{ \omega_i \neq \omega_{i+1}\right\}\) – событие, соответствующее повороту на \(i\)-м шаге, \(\; \mathbb {1}_{A_i} = \; \mathbb {1}_{A_i}(\omega )\) – индикатор этого события.

Заметим, что для произвольного события \(A\) индикатор имеет распределение Бернулли: \(\; \mathbb {1}_{A} \sim \operatorname {Ber}(\mathbb {P}\left(A\right))\), следовательно

\[ \mathbb {E}\left[\; \mathbb {1}_{A}\right] = \mathbb {P}\left(A\right), \quad \operatorname {Var}\left[\; \mathbb {1}_{A}\right] = \mathbb {P}\left(A\right) \cdot (1 - \mathbb {P}\left(A\right)) \]

Enum-item1.

Матожидание случайной величины, равной сумме индикаторов каких-то событий, можно вычислить как сумму вероятностей этих событий. Обратите внимание, что эта формула работает независимо от того, зависимы ли события (а в данном случае они зависимы), или нет.

\[ \begin{align} \mathbb {E}\left[X\right] = \mathbb {E}\left[\sum _{i=1}^{8} \; \mathbb {1}_{A_{i}}\right] = \sum _{i=1}^{8} \mathbb {P}\left(A_{i}\right) \end{align} \]

Посчитаем вероятность отдельного события:

\[ \mathbb {P}\left(A_i\right) = \mathbb {P}\left(\left\{ \omega \; \; : \; \; \omega _i = 0, \; \omega _{i+1} = 1\right\} \right) + \mathbb {P}\left(\left\{ \omega \; \; : \; \; \omega _{i} = 1, \; \omega _{i+1} = 0\right\} \right) = 2 \cdot \frac{C_{7}^4}{C_{9}^5} = \frac{5}{9} \]

Обратите внимание, что вероятность не зависит от \(i\).

Итого, \(\mathbb {E}\left[X\right] = 8 \cdot \frac{5}{9} = \frac{40}{9}\).

Enum-item2.

С дисперсией сложнее, поскольку при ее вычислении уже необходимо учитывать зависимости между событиями в индикаторах. Имеем

\[ \begin{align} \operatorname {Var}\left[X\right] = \operatorname {Cov}\left[ X, X \right] & = \sum _{i,j=1}^{8} \operatorname {Cov}\left[ \; \mathbb {1}_{A_{i}}, \; \mathbb {1}_{A_{j}} \right] = \sum _{i=1}^{8}\operatorname {Var}\left[\; \mathbb {1}_{A_{i}}\right] + \sum _{\substack {i,j=1 \\ i \neq j}}^{8} \operatorname {Cov}\left[ \; \mathbb {1}_{A_{i}}, \; \mathbb {1}_{A_{j}} \right] = \\ & = \sum _{i=1}^{8}\operatorname {Var}\left[\; \mathbb {1}_{A_{i}}\right] + 2\sum _{\substack {i,j=1 \\ i < j}}^{8} \operatorname {Cov}\left[ \; \mathbb {1}_{A_{i}}, \; \mathbb {1}_{A_{j}} \right] \end{align} \]

Заметим, что \(\operatorname {Cov}\left[ \; \mathbb {1}_{A_{i}}, \; \mathbb {1}_{A_{j}} \right]\) завит только от \(\left|i-j\right|\): если \(\left|i-j\right| = 1\), т.е. это соседние повороты, то они влияют на друг друга. Если же \(\left|i-j\right| \geq 2\), то повороты не влияют друг на друга. Следовательно,

\[ \begin{align} \operatorname {Var}\left[X\right] & = \sum _{i=1}^{8}\operatorname {Var}\left[\; \mathbb {1}_{A_{i}}\right] + 2\sum _{i=1}^{7} \operatorname {Cov}\left[ \; \mathbb {1}_{A_{i}}, \; \mathbb {1}_{A_{i+1}} \right] + 2\sum _{\substack {i,j=1 \\ i + 1 < j}}^{8} \operatorname {Cov}\left[ \; \mathbb {1}_{A_{i}}, \; \mathbb {1}_{A_{j}} \right] = \\ & = 8 \cdot \operatorname {Var}\left[\; \mathbb {1}_{A_{1}}\right] + 2 \cdot 7 \cdot \operatorname {Cov}\left[ \; \mathbb {1}_{A_1}, \; \mathbb {1}_{A_2} \right] + \left(64 - 14 - 8\right) \cdot \operatorname {Cov}\left[ \; \mathbb {1}_{A_{1}}, \; \mathbb {1}_{A_{3}} \right] \end{align} \]

Посчитаем каждое слагаемое отдельно.

• \(\operatorname {Var}\left[\; \mathbb {1}_{A_{1}}\right] = \mathbb {P}\left(A_1\right) \cdot (1 - \mathbb {P}\left(A_1\right)) = \frac{5}{9} \cdot \frac{4}{9} = \frac{20}{81}\)

• \(\operatorname {Cov}\left[ \; \mathbb {1}_{A_{1}}, \; \mathbb {1}_{A_{2}} \right] = \mathbb {E}\left[\; \mathbb {1}_{A_{1}, \; A_{2}}\right] -\mathbb {E}\left[\; \mathbb {1}_{A_{1}}\right]\mathbb {E}\left[\; \mathbb {1}_{A_2}\right] = \mathbb {E}\left[\; \mathbb {1}_{A_{1}, \; A_{2}}\right] - \left(\frac{5}{9}\right)^2\). Имеем

  \[ \begin{align} \mathbb {E}\left[\; \mathbb {1}_{A_{1}, \; A_{2}}\right] & = \mathbb {P}\left(\left\{ \omega \; : \; \omega _1 = \omega _3 = 1, \; \omega _2 = 0\right\} \right) + \mathbb {P}\left(\left\{ \omega \; : \; \omega _1 = \omega _3 = 0, \; \omega _2 = 1\right\} \right) = \\ & = \frac{1}{C_9^5} \left(C_6^4 + C_{6}^3\right) = \cdots = \frac{5}{18} \end{align} \]

  Итого, \(\operatorname {Cov}\left[ \; \mathbb {1}_{A_{1}}, \; \mathbb {1}_{A_{2}} \right] = \frac{5}{18} - \frac{25}{81} = \frac{45 - 50}{162} = -\frac{5}{162}\).

• \(\operatorname {Cov}\left[ \; \mathbb {1}_{A_{1}}, \; \mathbb {1}_{A_{3}} \right] = \mathbb {E}\left[\; \mathbb {1}_{A_{1}, \; A_{3}}\right] -\mathbb {E}\left[\; \mathbb {1}_{A_{1}}\right]\mathbb {E}\left[\; \mathbb {1}_{A_3}\right] = \mathbb {E}\left[\; \mathbb {1}_{A_{1}, \; A_{3}}\right] - \left(\frac{5}{9}\right)^2\). Имеем

  \[ \begin{align} \mathbb {E}\left[\; \mathbb {1}_{A_{1}, \; A_{3}}\right] & = 4\mathbb {P}\left(\left\{ \omega \; : \; \omega _1 = 1, \; \omega _2 = 0, \; \omega _3 = 1, \; \omega _4 = 0\right\} \right) = 4\frac{C_5^3}{C_9^5} = \cdots = \frac{20}{63} \end{align} \]

  Итого, \(\operatorname {Cov}\left[ \; \mathbb {1}_{A_{1}}, \; \mathbb {1}_{A_{3}} \right] = \frac{20}{63} - \frac{25}{81} = \frac{180 - 175}{7 \cdot 9^2} = \frac{5}{567}\).

Итого,

\[ \begin{align} \operatorname {Var}\left[X\right] = 8 \cdot \frac{20}{81} + 2 \cdot 7 \cdot \left(-\frac{5}{162}\right) + 2 \cdot 21 \cdot \frac{5}{567}= \frac{160}{81} - \frac{35}{81} + \frac{30}{81} = \frac{155}{81} \approx 1.91 \end{align} \]

Стандартное отклонение: \(\operatorname {SD}(X) = \sqrt{\operatorname {Var}\left[X\right]} = \frac{\sqrt{155}}{9} \approx 1.38\).

(Ответ можно проверить прямым перебором: всех путей всего \(C_9^4 = 126\), и честное суммирование по ним дает ровно \(\mathbb {E}\left[X\right] = \frac{40}{9}\) и \(\operatorname {Var}\left[X\right] = \frac{155}{81}\).)

AnswerОтвет

Enum-item1.

\(\mathbb {E}\left[X\right] = \frac{40}{9} \approx 4.44\)

Enum-item2.

\(\operatorname {Var}\left[X\right] = \frac{155}{81} \approx 1.91\), \(\operatorname {SD}(X) \approx 1.38\).

ProblemЗадача 1

В гости пришли \(N\) гостей в шляпах. Уходя, в темной прихожей каждый из них взял какую-нибудь шляпу наугад. Найдите

1. математическое ожидание,

2. дисперсию и ст. отклонение шляп, доставшихся хозяевам.

HintПодсказка

Используйте индикаторый метод.

3 Сходимости случайных величин

В предельных теоремах, ради которых затевается эта глава (ЗБЧ, ЦПТ, закон редких событий – см. следующий раздел), участвуют два вида сходимости последовательностей случайных величин: сходимость по вероятности и сходимость по распределению. Определим их, пользуясь только теми средствами, которые у нас уже есть: вероятностями событий и функциями распределения.

3.1 Сходимость по вероятности

Определение 2 Пусть \(\xi , \xi_1, \xi_2, \ldots\) – случайные величины, заданные на одном вероятностном пространстве. Говорят, что последовательность \(\xi_1, \xi_2, \ldots\) сходится по вероятности к \(\xi\), если для любого \(\varepsilon > 0\) \[ \mathbb {P}\left(\left|\xi _n - \xi \right| \geq \varepsilon \right) \xrightarrow [n \to \infty ]{} 0 \] Обозначение: \[ \xi _n \xrightarrow [n \to \infty ]{\mathbb {P}} \xi \]

Смысл: с ростом \(n\) случайная величина \(\xi_n\) всё реже отклоняется от \(\xi\) больше, чем на любую наперёд заданную ошибку \(\varepsilon\). Именно эта сходимость появится в ЗБЧ: среднее арифметическое \(\frac{S_n}{n}\) сходится по вероятности к матожиданию.

Обратите внимание: чтобы выражение \(\left|\xi_n - \xi \right|\) имело смысл, случайные величины \(\xi_n\) и \(\xi\) обязаны быть заданы на одном и том же \(\Omega\).

ProblemЗадача 2

Правда ли, что из сходимости по вероятности следует сходимость матожиданий?

ProblemЗадача 3

Пусть \(\left(\xi_{n}-\xi \right)^{2} \xrightarrow {\mathbb {P}} 0\). Покажите, что \(\xi_{n}^{2} \xrightarrow {\mathbb {P}} \xi^{2}\).

3.2 Сходимость по распределению

Второй вид сходимости отвечает на другой вопрос: не <<близки ли значения \(\xi_n\) и \(\xi\) как функций на \(\Omega\)>>, а <<похоже ли распределение \(\xi_n\) на распределение \(\xi\)>>. Так, в ЦПТ утверждается, что распределение нормированной суммы приближается к нормальному распределению; сами случайные величины при этом ни к какой конкретной случайной величине не <<прижимаются>> – сходятся именно их распределения.

Распределение на \(\mathbb {R}\) полностью описывается своей функцией распределения (см. главу о случайных величинах и функции распределения), поэтому сходимость распределений естественно определять через сходимость функций распределения. Единственная тонкость – в каких точках требовать сходимость. Рассмотрим пример: пусть \(\xi_n \equiv \frac{1}{n}\) – константные случайные величины. Разумно ожидать, что \(\xi_n\) сходятся (в любом осмысленном смысле) к \(\xi \equiv 0\). Посмотрим на функции распределения:

\[ F_{\xi _n}(x) = \; \mathbb {1}_{x \geq \tfrac {1}{n}} \xrightarrow [n \to \infty ]{} \begin{cases} 1, & x > 0 \\ 0, & x \leq 0\end{cases}, \qquad \text{при этом} \qquad F_{\xi }(x) = \; \mathbb {1}_{x \geq 0} \]

Пределы совпадают всюду, кроме единственной точки \(x = 0\): \(F_{\xi_n}(0) = 0 \not\to 1 = F_{\xi }(0)\). Заметим, что \(x=0\) – это в точности точка разрыва (скачка) предельной функции распределения. Чтобы такие естественные примеры не ломали определение, в точках разрыва предельной \(F\) сходимость не требуют.

Определение 3 Говорят, что последовательность случайных величин \(\xi_1, \xi_2, \ldots\) сходится по распределению к случайной величине \(\xi\), если \[ F_{\xi _n}(x) \xrightarrow [n \to \infty ]{} F_{\xi }(x) \qquad \text{для всех } x \in \mathbb {R}, \text{ в которых } F_{\xi } \text{ непрерывна} \] Обозначение: \[ \xi _{n} \xrightarrow [n \to \infty ]{d} \xi , \] от англ. distribution (распределение).

Поскольку в определении участвуют только функции распределения, случайные величины \(\xi_1, \xi_2, \ldots\) и \(\xi\) могут быть заданы на совершенно разных вероятностных пространствах – в отличие от сходимости по вероятности. По той же причине вместо предельной случайной величины можно указывать сразу предельное распределение и писать, например, \(\xi_n \xrightarrow [n \to \infty ]{d} \mathscr {N}\left(0, 1\right)\) (так мы и сделаем в ЦПТ).

ProblemЗадача 4

Правда ли, что из сходимости по распределению следует сходимость матожиданий? А именно, \[ \xi _n \xrightarrow [n \to \infty ]{d} \xi \quad \stackrel{?}{\; \Rightarrow \; } \quad \mathbb {E}\left[\xi _n\right] \xrightarrow [n \to \infty ]{} \mathbb {E}\left[\xi \right] \] Докажите, если это верно. Если это неверно – приведите контрпример.

HintПодсказка

Рассмотрите в качестве \(\xi\) нулевую константу: \(\xi \equiv 0\). Проверьте, обязательно ли в этом случае будет сходимость \(\mathbb {E}\left[\xi_n\right] \to 0\).

ProblemЗадача 5

Пусть \(\xi_n\) равномерно распределена на \(\{ 1,2,\dots ,n\}\): \(\xi_n \sim \operatorname {Unif}\left\{ 1,\ldots ,n\right\}\). Пусть \(\eta_n = \frac{\xi_n}{n}\). Сходится ли последовательность \(\eta_1, \eta_2, \ldots\) по распределению?

3.3 Связь двух сходимостей

Лемма 1 Пусть \(\xi , \xi_1, \xi_2, \ldots\) – это случайные величины на одном вероятностном пространстве. Тогда \[ \xi _n \xrightarrow [n \to \infty ]{\mathbb {P}} \xi \quad \; \Rightarrow \; \quad \xi _n \xrightarrow [n \to \infty ]{d} \xi \] Обратное в общем случае неверно (см. задачи ниже). Однако если предел – константа \(c \in \mathbb {R}\) (точнее, случайная величина, тождественно равная \(c\)), то сходимости эквивалентны: \[ \xi _n \xrightarrow [n \to \infty ]{\mathbb {P}} c \quad \iff \quad \xi _n \xrightarrow [n \to \infty ]{d} c \]

ExampleПример 3

Докажите вторую часть леммы в сторону \(\Leftarrow\): если \(\xi_n \xrightarrow [n \to \infty ]{d} c\), то \(\xi_n \xrightarrow [n \to \infty ]{\mathbb {P}} c\).

SolutionРешение

Функция распределения константы: \(F_c(x) = \; \mathbb {1}_{x \geq c}\). Она непрерывна во всех точках, кроме \(x = c\). Пусть \(\varepsilon > 0\) – произвольное. Точки \(c - \varepsilon\) и \(c + \frac{\varepsilon }{2}\) отличны от \(c\), т.е. являются точками непрерывности \(F_c\), следовательно в них есть сходимость функций распределения. Имеем \[ \begin{align} \mathbb {P}\left(\left|\xi _n - c\right| \geq \varepsilon \right) & = \mathbb {P}\left(\xi _n \leq c - \varepsilon \right) + \mathbb {P}\left(\xi _n \geq c + \varepsilon \right) \leq F_{\xi _n}(c-\varepsilon ) + 1 - F_{\xi _n}\left(c + \tfrac {\varepsilon }{2}\right) \xrightarrow [n \to \infty ]{} \\ & \xrightarrow [n \to \infty ]{} F_c(c - \varepsilon ) + 1 - F_c\left(c + \tfrac {\varepsilon }{2}\right) = 0 + 1 - 1 = 0 \end{align} \] Пояснение к неравенству: \(\mathbb {P}\left(\xi_n \geq c + \varepsilon \right) \leq \mathbb {P}\left(\xi_n > c + \frac{\varepsilon }{2}\right) = 1 - F_{\xi_n}\left(c + \frac{\varepsilon }{2}\right)\). ЧТД.

ProblemЗадача 6

Пусть \(\xi_n \sim \mathrm{Ber}\! \left(\tfrac {1}{n}\right)\). Сходится ли (к какой-то случайной величине) последовательность \(\xi_1, \xi_2, \ldots\) по распределению? А по вероятности?

ProblemЗадача 7

Пусть \(\Omega = \left\{ \omega_1, \omega_2, \omega_3\right\}\) с классической вероятностью (\(\mathbb {P}\left(\omega_i\right) = \frac{1}{3}\)). Определим случайные величины \(X\), \(Y\):

	\(\omega _1\)	\(\omega _2\)	\(\omega _3\)
\(X\)	\(1\)	\(0\)	\(0\)
\(Y\)	\(0\)	\(1\)	\(0\)

Пусть \(\xi_{2n-1} = X\), \(\xi_{2n} = Y\) для \(n \in \mathbb {N}\). Сходится ли (к какой-то случайной величине) последовательность \(\xi_1, \xi_2, \ldots\) по распределению? А по вероятности?

3.4 Взгляд вперёд: сходимость на языке мер (необязательное)

сходимость распределений как мерweak-convergence Определение сходимости по распределению через функции распределения – рабочее, но выглядит привязанным к прямой \(\mathbb {R}\): в \(\mathbb {R}^{n}\) и тем более в бесконечномерных пространствах функций распределения в привычном виде нет, а сходимость распределений определять нужно. <<Правильное>> определение формулируется на языке самих распределений, т.е. вероятностных мер, и опирается на понятия, которые мы строго введём лишь в главах о системах множеств и борелевской сигма-алгебре–о мере Лебега (борелевские множества, мера на сигма-алгебре). Этот подраздел – необязательный анонс: при первом чтении его можно пропустить и вернуться после глав о теории меры.

Предположим, у нас есть последовательность распределений (вероятностных мер) \(\mathbf{P}_1, \mathbf{P}_2, \ldots\) на \((\mathbb {R}, \mathscr {B}\left(\mathbb {R}\right))\). Говорят, что эта последовательность сильно сходится (или сходится помножественно, т.е. сходится на каждом множестве) к распределению \(\mathbf{P}\), если

\[ \mathbf{P}_{n}\left(B\right) \xrightarrow [n \to \infty ]{} \mathbf{P}\left(B\right), \quad \forall B \in \mathscr {B}\left(\mathbb {R}\right) \]

Обозначение:

\[ \mathbf{P}_n \xrightarrow [n \to \infty ]{s} \mathbf{P}, \]

от англ. strong (сильный).

Сильная сходимость не очень удобна. Например, если \(\mathbf{P}_n = \delta_{1/n}\), т.е. это единичные массы в точках \(\frac{1}{n}\), то такая последовательность сильно никуда не сходится, в частности, она не сходится к \(\delta_0\). Действительно, если взять \(B = \left\{ 0\right\}\), то

\[ \delta _{1/n}(\left\{ 0\right\} ) = 0 \not\to 1 = \delta _{0}(\left\{ 0\right\} ) \]

при \(n \to \infty\). (Сравните с примером \(\xi_n \equiv \frac{1}{n}\) выше: это те же самые распределения!) В связи с этим вводят слабую сходимость. Говорят, что \(\mathbf{P}_1, \mathbf{P}_2, \ldots\) слабо сходятся к \(\mathbf{P}\), если

\[ \mathbf{P}_{n}\left(B\right) \xrightarrow [n \to \infty ]{} \mathbf{P}\left(B\right), \quad \forall B \in \mathscr {B}\left(\mathbb {R}\right), \; \mathbf{P}\left(\partial B\right) = 0 \]

Отличие от сильной сходимости в том, что теперь мы должны проверять сходимость не на всех борелевских множествах, но только на т.н. множествах непрерывности для \(\mathbf{P}\), т.е. на таких множествах, предельная мера границы которых равна \(0\). Обозначение:

\[ \mathbf{P}_n \xrightarrow [n \to \infty ]{w} \mathbf{P}, \]

от англ. weak (слабый).

ProblemЗадача 8

Докажите, что \[ \delta _{1/n} \xrightarrow [n \to \infty ]{w} \delta _0 \]

Теорема 1 (Эквивалентные формулировки слабой сходимости, б/д) Следующие условия эквивалентны:

• \(\mathbf{P}_{n} \xrightarrow [n \to \infty ]{w} \mathbf{P}\);

• \(\int f \; \mathrm{d}\mathbf{P}_n \to \int f \; \mathrm{d} \mathbf{P}\) для любой непрерывной, ограниченной функции \(f: \mathbb {R} \to \mathbb {R}\);

• \(F_{\mathbf{P}_n}(x) \to F_{\mathbf{P}}(x)\) для любой точки \(x \in \mathbb {R}\), в которой \(F_{\mathbf{P}}\) непрерывна.

Интегралы во втором пункте – это интегралы Лебега по мерам \(\mathbf{P}_n\), \(\mathbf{P}\); их мы построим в главе о построении интеграла Лебега. Обратите внимание на третий пункт: именно его мы приняли выше за определение сходимости по распределению. Т.е. наша <<элементарная>> сходимость через функции распределения – это в точности слабая сходимость распределений:

\[ \xi _{n} \xrightarrow [n \to \infty ]{d} \xi \quad \iff \quad \mathbf{P}_{\xi _n} \xrightarrow [n \to \infty ]{w} \mathbf{P}_{\xi } \]

На языке случайных величин теорема выше переписывается так.

Теорема 2 (Эквивалентные формулировки сходимости по распределению, б/д) Следующие условия эквивалентны:

• \(\xi_{n} \xrightarrow [n \to \infty ]{d} \xi\);

• \(\mathbb {E}\left[f(\xi_n)\right] \to \mathbb {E}\left[f(\xi )\right]\) для любой непрерывной, ограниченной функции \(f: \mathbb {R} \to \mathbb {R}\);

• \(F_{\xi_n}(x) \to F_{\xi }(x)\) для любой точки \(x \in \mathbb {R}\), в которой \(F_{\xi }\) непрерывна.

4 Предельные теоремы

4.1 Закон больших чисел

Пусть даны \(\xi_1, \xi_2, \ldots\) – независимые одинаково распределенные случайные величины (сокращенно НОРСВ) с матожиданием \(\mu := \mathbb {E}\left[\xi_1\right]\). Закон больших чисел (ЗБЧ) обуславливает сходимость их среднего арифметического \(\frac{S_n}{n}\) к \(\mu\), где \(S_n = \xi_1 + \ldots + \xi_n\).

Есть много разных вариантов ЗБЧ. Мы сформулируем ЗБЧ в самой простой формулировке.

Теорема 3 (ЗБЧ) Пусть \(X_1, X_2, \ldots\) – это НОРСВ с конечным вторым моментом (т.е. дисперсия \(\operatorname {Var}\left[X_1\right] = \sigma^2 < \infty\) существует), пусть \(\mu := \mathbb {E}\left[X_1\right]\). Тогда \[ \frac{1}{n}S_n \xrightarrow [n \to \infty ]{d, \mathbb {P}} \mu . \]

Статус честности: ЗБЧ мы сейчас докажем полностью строго – с той оговоркой, что свойства матожидания и дисперсии, используемые в доказательстве (линейность, дисперсия суммы независимых), мы обосновали пока только для дискретных распределений (см. долг @debt:expectation). После главы о свойствах интеграла Лебега доказательство станет честным в полной общности – ни одна его строчка при этом не изменится.

Для доказательства нам понадобятся следующие известные оценки.

Теорема 4 (Неравенство Маркова) Пусть \(Y \geq 0\) и \(\mathbb {E}\left[Y\right] < \infty\). Тогда для любого \(a > 0\) \[ \mathbb {P}(Y \geq a) \leq \frac{\mathbb {E}\left[Y\right]}{a}. \]

Теорема 5 (Неравенство Чебышева) Пусть \(Y\) имеет конечное матожидание \(\mu\) и дисперсию \(\sigma^2\). Тогда для любого \(\varepsilon > 0\) \[ \mathbb {P}\big(|Y - \mu | \geq \varepsilon \big) \leq \frac{\sigma ^2}{\varepsilon ^2}. \]

Оба неравенства будут доказаны в общем виде в главе о свойствах интеграла Лебега, когда матожидание станет интегралом Лебега. Для дискретных случайных величин, впрочем, всё доказывается уже сейчас.

ProblemЗадача 9

Докажите неравенство Маркова для дискретной случайной величины \(Y \geq 0\). Затем выведите из него неравенство Чебышева, применив неравенство Маркова к случайной величине \((Y - \mu )^2\).

4.2 Доказательство ЗБЧ

Рассмотрим \(\frac{1}{n}S_n = \frac{1}{n}\sum_{k=1}^n X_k\). По линейности матожидания имеем \[ \mathbb {E}\left[\frac{1}{n}S_n\right] = \mu . \] Найдём дисперсию: \[ \operatorname {Var}\left[\frac{1}{n}S_n\right] = \frac{1}{n^2}\operatorname {Var}\left[\sum _{k=1}^n X_k\right] \] Так как \(X_k\) независимы и одинаково распределены, \[ \operatorname {Var}\left[\sum _{k=1}^n X_k\right] = n \cdot \operatorname {Var}\left[X_1\right] = n\sigma ^2. \] Следовательно, \[ \operatorname {Var}\left[\frac{1}{n}S_n\right] = \frac{\sigma ^2}{n}. \] По неравенству Чебышева для любого \(\varepsilon > 0\): \[ \mathbb {P}\! \left(\left|\frac{1}{n}S_n - \mu \right| \geq \varepsilon \right) \leq \frac{\operatorname {Var}\left[\frac{1}{n}S_n\right]}{\varepsilon ^2} = \frac{1}{n^2} \cdot \frac{\operatorname {Var}\left[S_n\right]}{\varepsilon ^2} = \frac{1}{n^2} \cdot \frac{n \sigma ^2}{\varepsilon ^2} = \frac{\sigma ^2}{n\varepsilon ^2}. \] Правая часть стремится к \(0\) при \(n \to \infty\), откуда следует, что \[ \frac{1}{n}S_n \xrightarrow {\mathbb {P}} \mu . \] Так как предел константа, то имеем также сходимость по распределению. Теорема доказана.

Заметим, что некоторые условия из ЗБЧ можно ослабить.

• Вместо независимости требовать некоррелированность. Действительно, независимость нам была нужна, чтобы представить дисперсию суммы как сумму дисперсий. Но для этого достаточно попарной некоррелированности.

• Вместо одинаковой распределенности требовать, чтобы

  • матожидания сходились к какой-то константе \(\mu\): \(\mathbb {E}\left[X_n\right] \to \mu\) при \(n \to \infty\)

  • дисперсии были равномерно ограниченны: существует \(M > 0\), такое что \(\operatorname {Var}\left[X_n\right] \leq M\) для всех \(n \in \mathbb {N}\)

  (проверьте самостоятельно, что это действительно так)

• Если формулировать ЗБЧ как

  \[ \frac{1}{n} \left(S_n - \mathbb {E}\left[S_n\right]\right) \xrightarrow [n \to \infty ]{d,\mathbb {P}} 0 \]

  то вместо \(\frac{1}{n}\) можно брать \(\frac{1}{n^{\alpha }}\), \(\alpha > 0.5\) – произвольное.

Теорема 6 (ЗБЧ, более общая формулировка) Пусть \(X_1, X_2, \ldots\) – это некоррелированные случайные величины с конечным вторым моментом. Пусть дисперсии равномерно ограниченны: существует \(M > 0\), такое что \(\operatorname {Var}\left[X_i\right] \leq M\) для всех \(i\). Тогда \[ \frac{1}{n^\alpha }\left(S_n - \mathbb {E}\left[S_n\right]\right) \xrightarrow [n \to \infty ]{d, \mathbb {P}} 0 \] для произвольного \(\alpha > 0.5\).

Пусть \(Y_i = X_i - \mathbb {E}\left[X_i\right]\). Тогда \(\mathbb {E}\left[Y_i\right] = 0\), \(\operatorname {Var}\left[Y_i\right] = \operatorname {Var}\left[X_i\right]\), \[ S_n - \mathbb {E}\left[S_n\right] = \sum _{i=1}^n X_i - \mathbb {E}\left[\sum _{i=1}^n X_i \right] = \sum _{i=1}^n Y_i \] Далее, по неравенству Чебышева, \[ \begin{align} \mathbb {P}\left(\left|\frac{1}{n^{\alpha }}\left(S_n - \mathbb {E}\left[S_n\right]\right) \right| > \varepsilon \right) & = \mathbb {P}\left(\left|\frac{1}{n^{\alpha }}\sum _{i=1}^n Y_i\right| > \varepsilon \right) \leq \frac{1}{n^{2\alpha }} \cdot \frac{\operatorname {Var}\left[\sum _{1}^n Y_i\right]}{\varepsilon ^2} = \frac{1}{n^{2\alpha }} \cdot \frac{\sum _{1}^n\operatorname {Var}\left[ Y_i\right]}{\varepsilon ^2} \leq \\ & \leq \frac{M}{n^{2\alpha - 1} \varepsilon ^2} \to 0 \end{align} \] Дисперсия суммы распалась в сумму дисперсий благодаря некоррелированности.

ProblemЗадача 10

Пусть случайная величина \(\eta_{n}\) равна сумме очков, появившихся при \(n\) бросаниях симметричной игральной кости. Найдите предел по вероятности для \(\frac{\eta_{n}}{n}\).

ProblemЗадача 11

Для независимых случайных величин \(\xi_{1}, \xi_{2}, \ldots \sim \operatorname {Bern}(p)\) обозначим через \(\eta_{n}\) количество таких \(i\) от 1 до \(n\), что \(\xi_{i} = \xi_{i+1} = 1\). Найдите предел по вероятности для \(\frac{\eta_{n}}{n}\).

ProblemЗадача 12

Случайные величины \(\xi_{1}, \xi_{2}, \ldots\) независимы, \(\mathbb {E}\left[\xi_{k}\right] = a, \operatorname {Var}\left[\xi_{k}\right] = \sigma^{2} < \infty , k \in \mathbb {N}\). Пусть \[ \zeta _{n} = \sum _{1 \leqslant i < j \leqslant n} \xi _{i} \xi _{j} . \] Найдите предел по вероятности для \(\frac{\zeta_{n}}{n^{2}}\).

ProblemЗадача 13

Последовательность \(\xi_{1}, \xi_{2}, \ldots\) состоит из независимых одинаково распределённых случайных величин, \(\mathbb {E}\left[\xi_{n}\right] = 0, \operatorname {Var}\left[\xi_{n}\right] = \sigma^{2} < \infty , n \in \mathbb {N}\). Удовлетворяют ли ЗБЧ последовательности случайных величин

1. \(\zeta_{n} = \xi_{n}+\xi_{n+1}\)?

2. \(\eta_{n} = \sum_{k = 0}^{\left[n^{\frac{1}{3}}\right]} \xi_{n+k}\)?

ProblemЗадача 14

Последовательность \(\xi_{1}, \xi_{2}, \ldots\) образована независимыми случайными величинами \[ \mathbb {E}\left[\xi _{n}\right] = 0, \quad \operatorname {Var}\left[\xi _{n}\right] = C \cdot n^{\alpha }, \quad C > 0, \quad \alpha \geqslant 0, \quad n \in \mathbb {N} . \] При каких значениях \(\alpha\) последовательность \(\xi_{1}, \xi_{2}, \ldots\) удовлетворяет ЗБЧ и при каких значениях \(\alpha\) может не удовлетворять?

4.3 Центральная предельная теорема

Теорема 7 Пусть \(X_1, X_2, \ldots\) – квадратично интегрируемые НОРСВ. Пусть \(\mu = \mathbb {E}\left[X_1\right]\), \(\sigma^2 = \operatorname {Var}\left[X_1\right]\). Тогда \[ \frac{S_n - n\mu }{\sqrt{n}\sigma } \xrightarrow [n \to \infty ]{d} \mathscr {N}\left(0, 1\right) \]

Центрируем и нормируем \(X_i\): \(Y_i := \frac{X_i - \mu }{\sigma }\) (тогда \(\mathbb {E}\left[Y_i\right] = 0\), \(\operatorname {Var}\left[Y_i\right] = 1\)). Тогда для \(\tilde{S}_n = Y_1 + \ldots + Y_n\) ЦПТ будет выглядеть так:

\[ \frac{\tilde{S}_n}{\sqrt{n}} \xrightarrow [n \to \infty ]{d} \mathscr {N}\left(0, 1\right) \]

Отличие ЦПТ от ЗБЧ в том, что в ЗБЧ сумма \(S_n\) скалируется на \(n\), а в ЦПТ на \(\sqrt{n}\).

Статус честности: ЦПТ мы принимаем без доказательства, причём этот долг будет возвращён не в нашем курсе, а в следующем – в курсе теории вероятностей. Стандартное доказательство использует аппарат характеристических функций, который сам строится на интеграле Лебега (глава о построении интеграла Лебега) от комплекснозначных функций. Здесь ЦПТ для нас – витрина: она показывает, ради каких результатов возводится вся машинерия второй части курса. Отметим также, что предельный объект – нормальное распределение \(\mathscr {N}\left(0, 1\right)\) – это распределение с плотностью, т.е. строго определить его мы сможем тоже только после построения интеграла (см. долг @debt:densities); пока понимаем \(\Phi (x)\) как <<площадь под колоколом Гаусса от \(-\infty\) до \(x\)>> в смысле интеграла Римана.

Неформально: если нам дана последовательность НОРСВ \(X_1,X_2, \ldots\) с матожиданием \(\mu\) и дисперсией \(\sigma^2\), то

\[ \operatorname {Law}(S_n) = \mathbf{P}_{S_n} \approx \mathscr {N}\left(n\mu , n\sigma ^2\right) \]

где \(\operatorname {Law}(S_n)\), \(\mathbf{P}_{S_n}\) – различные обозначения распределения \(S_n = X_1 + X_2 + \ldots + X_n\).

ExampleПример 4

По схеме выбора с возвращением выбирается \(10000\) случайных цифр. Найти приближенное значение вероятности того, что выбрано от \(940\) до \(1060\) девяток.

SolutionРешение

Рассмотрим \(n=10000\) независимых случайных величин \(\xi_{1}, \ldots , \xi_{n}\), распределенных по Бернулли с параметром \(0.1\). Имеем \(\mathbb {E}\left[\xi_1\right] = \mu = \frac{1}{10}\), \(\operatorname {Var}\left[\xi_1\right]= \sigma^2 = \frac{9}{100}\). По ЦПТ:

\[ \frac{S_n - n\mu }{\sqrt{n}\sigma } = \frac{S_{10000} - 1000}{30} \stackrel{d}{\approx } \mathscr {N}\left(0, 1\right) \]

Следовательно,

\[ \begin{align} \mathbb {P}\left(940 \leq S_{10000} \leq 1060\right) = \mathbb {P}\left(-2 \leq \frac{S_{10000} - 1000}{30} \leq 2\right) \approx \mathbb {P}\left(-2 \leq \eta \leq 2\right) = \Phi (2) - \Phi (-2) , \end{align} \]

где \(\eta \sim \mathscr {N}\left(0, 1\right)\), а \(\Phi\) – функция распределения стандартного нормального распределения.

Заметим, что поскольку распределение \(\mathscr {N}\left(0, 1\right)\) симметрично относительно нуля, \(\Phi (x) + \Phi (-x) = 1\), т.е.

\[ \Phi (2) - \Phi (-2) =2\Phi (2) - 1. \]

Найти значение \(\Phi (2)\) можно, например, здесь. Имеем \(\Phi (2) \approx 0.97725\), следовательно \(2\Phi (2) - 1\approx 0.9545 = 95.45\%\).

AnswerОтвет

\(0.9545\).

ProblemЗадача 15

Вы пригласили на вечеринку 64 гостя. Вам нужно приготовить бутерброды. Вы считаете, что гостю может понадобиться 0,1 или 2 бутерброда с вероятностью \(1 / 4,1 / 2\) и \(1 / 4\) соответственно. Вы предполагаете, что количество бутербродов, необходимое каждому гостю, не зависит от аппетита других гостей. Сколько бутербродов нужно приготовить, чтобы иметь 95-процентную уверенность, что всем хватит?

ProblemЗадача 16

Покажите, что если нарушается условие независимости, то ЦПТ может не выполняться.

4.4 Закон редких событий

Теорема 8 (Предельная теорема Пуассона, закон редких событий) Пусть \(X_1, X_2, \ldots , X_n, \ldots\) – случайные величины , имеющие распределение \(\operatorname {Bin}(n, p_n)\), причем с ростом \(n\) вероятность успеха падает со скоростью \(\frac{1}{n}\): найдется такое \(\lambda > 0\), что \(p_n \sim \frac{\lambda }{n}\) при \(n \to \infty\). Эквивалентно: \(np_n \xrightarrow [n \to \infty ]{} \lambda\). Эквивалентно: \(\mathbb {E}\left[X_n\right] \xrightarrow [n \to \infty ]{} \lambda\). Тогда \[ X_n \xrightarrow [n \to \infty ]{d}\operatorname {Pois}(\lambda ) \]

Теорема Пуассона кратко:

\[ \operatorname {Bin}(n,p_n) \xrightarrow [n \to \infty ]{w} \operatorname {Pois}(\lambda ) \quad \text{ если } \lambda := \lim _{n \to \infty }np_n > 0 \]

Статус честности: в отличие от ЦПТ, закон редких событий полностью доказуем уже сейчас, элементарными средствами – это единственная предельная теорема этой главы, у которой долгов нет вовсе.

ProblemЗадача 17

Докажите предельную теорему Пуассона.

HintПодсказка

Сначала докажите поточечную сходимость функций масс: \(\mathbb {P}\left(X_n = k\right) \to \frac{\lambda^k}{k!}e^{-\lambda }\) для каждого фиксированного \(k \in \mathbb {Z}_+\). Затем объясните, почему для целочисленных случайных величин отсюда следует сходимость функций распределения в каждой точке.

4.5 ЦПТ VS ЗРС

Рассмотрим распределение \(\operatorname {Bin}(n,p)\). В каких случаях использовать аппроксимацию из ЦПТ, а в каких из ЗРС? При сравнительно большом \(\lambda := np\) (обычно при \(\lambda > 9\)) для аппроксимации \(\operatorname {Bin}(n,p)\) используется нормальное распределение:

\[ \operatorname {Bin}(n,p) \approx \mathscr {N}\left(np, np(1-p)\right) \]

При малых \(\lambda = np\) (\(\lambda < 9\)) для аппроксимации можно использовать пуассоновское распределение:

\[ \operatorname {Bin}(n,p) \approx \operatorname {Pois}(\lambda ) \]

ExampleПример 5

Известно, что левши составляют в среднем \(1 \%\). Оценить вероятность того, что по меньшей мере четверо левшей окажется среди

1. \(200\) человек;

2. \(10000\) человек;

HintПодсказка

Используйте ЦПТ или закон редких событий

SolutionРешение

Enum-item1.

\(n = 200\), \(p = 0.01\), \(\lambda = np = 2\). Так как \(\lambda\) мало, используем приближение Пуассона:

\[ \mathbf{P}\left\{ S_{200} \geq 4\right\} = 1 - \mathbf{P}\left\{ S_{200} \leq 3\right\} \approx 1 - e^{-2}\left(1 + 2 + \frac{2^2}{2!} + \frac{2^3}{3!}\right) = 1 - e^{-2}(1 + 2 + 2 + 1.\overline{3}) \approx 1 - 0.857 \approx 0.143. \]

Enum-item2.

\(n = 10000\), \(p = 0.01\), \(\lambda = np = 100\). Используем нормальное приближение:

\[ \mathbf{P}\left\{ S_{10000} \geq 4\right\} \approx 1 - \Phi \left(\frac{4 - 100}{\sqrt{100 \cdot 0.99}}\right) \approx 1 - \Phi (-9.6) \approx 1. \]

ProblemЗадача 18

Вероятность попадания в цель при одном выстреле равна 0,001. Для поражения цели необходимо не менее двух попаданий. Произведено 5000 выстрелов. Найти вероятность поражения цели.

ProblemЗадача 19

Известно, что вероятность рождения мальчика приблизительно равна 0,515. Какова вероятность того, что среди 10 тысяч новорожденных число мальчиков будет не больше, чем девочек?

5 Итог трёх недель: инвентаризация долгов

Первые три главы построены на честном фундаменте лишь частично. Всюду, где пространство исходов не более чем счётно, наши определения и доказательства полны. Но в общем случае мы набрали долгов – и вся вторая часть курса будет их планомерным возвратом:

Долг~ \(\ref{debt:borel-lebesgue}\): что такое борелевские множества и мера Лебега (длина, площадь)? Почему нельзя измерять множества?	Главы~ –: системы множеств, мера, теорема Каратеодори, мера Лебега
Долг~ \(\ref{debt:measurability}\): что такое измеримость случайной величины?	Глава~ : измеримые функции
Долг~ \(\ref{debt:cdf-defines-distrib}\): почему функция распределения однозначно задаёт распределение?	Главы~ –: теорема Каратеодори, мера Лебега–Стилтьеса
Долг~ \(\ref{debt:densities}\): что такое плотность и непрерывные распределения?	Главы~ – (интеграл Лебега) и глава~ (теорема Радона–Никодима)
Долг~ \(\ref{debt:expectation}\): что такое\(\mathbb {E}\left[\xi \right]\) для произвольной случайной величины? Почему матожидание линейно?	Главы~ –: интеграл Лебега и его свойства (в т.ч. неравенство Маркова в общем виде)
Долг~ \(\ref{debt:weak-convergence}\): что такое сходимость распределений <<по-настоящему>>, на языке мер?	Главы~ – дают язык мер; сходимости измеримых функций – глава~
ЦПТ принята без доказательства	Следующий курс (теория вероятностей): характеристические функции

Начиная со следующей главы мы забудем на время про вероятность и займёмся фундаментом: множествами, которые можно измерять, и мерами на них.