Вероятностное пространство. Классические модели. Независимость
1 Системы множеств. Вероятностное пространство
Предметом изучения теории вероятностей являются случайные события и их вероятности. Под случайным событием подразумевается набор исходов некоторого эксперимента.
Пусть некоторый случайный эксперимент допускает \(N\) различных исходов (например, при подбрасывании монетки исходов всего два: орел и решка). Обозначим эти исходы \(\omega_{1}, \ldots , \omega_{N}\). Исходы \(\omega_{1}, \ldots , \omega_{N}\) называются элементарными событиями, а множество \(\Omega =\left\{ \omega_{1}, \ldots , \omega_{N}\right\}\)- пространством элементарных событий. Вообще говоря, пространство элементарных событий не обязано быть ни конечным, ни даже счетным.
Определение 1 Элементы \(\omega \in \Omega\) называются элементарными событиями или элементарными исходами, а их совокупность \(\Omega\)- пространством элементарных исходов (событий).
Событием же является подмножество \(A\) множества \(\Omega\). Говорят, что произошло событие \(A\), если эксперимент завершился одним из элементарных исходов, входящих в множество \(A\). Далеко не каждое подмножество является событием. Для того, чтобы определить, какие же множества являются событиями, вспомним некоторые определения из теории множеств.
Определение 2 Система множеств \(\mathcal{A}\) называется алгеброй, если выполняются следующие 3 свойства:
\(\Omega \in \mathcal{A}\);
если множество \(A \in \mathcal{A}\), то и дополнение к этому множеству \(A^{\complement } \in \mathcal{A}\);
если множества \(A, B \in \mathcal{A}\), то и их объединение \(A \cup B \in \mathcal{A}\).
Очевидно, \(\varnothing \in \mathcal{A}\) (следует из свойств 1) и 2) из определения алгебры). Кроме того, если множества \(A, B \in \mathcal{A}\), то и их пересечение \(A \cap B \in \mathcal{A}\) (следует из свойств 2) и 3) при использовании правила Де Моргана \(\overline{\bar{A}} \cup \bar{B}=A \cap B\)).
Определение 3 Система множеств \(\mathcal{F}\) называется сигма-алгеброй, если выполняются следующие 3 свойства:
\(\Omega \in \mathcal{F}\);
если множество \(A \in \mathcal{F}\), то и дополнение к этому множеству \(\bar{A} \in \mathcal{F}\);
если множества \(A_{1}, A_{2}, \ldots \in \mathcal{F}\), то и их бесконечное объединение \(\bigcup_{i=1}^{\infty } A_{i} \in \mathcal{F}\).
Как легко видеть, алгебра от сигма-алгебры отличается только тем, что сигма-алгебра замкнута относительно счетного объединения множеств. Также очевидно, что любая сигма-алгебра является алгеброй, т.е. пустое множество принадлежит любой сигма-алгебре. Кроме того, из правила Де Моргана следует, что если множества \(A_{1}, A_{2}, \ldots \in \mathcal{F}\), то и их бесконечное пересечение \(\bigcap_{i=1}^{\infty } A_{i} \in \mathcal{F}\).
Пусть дано пространство элементарных событий \(\Omega\) и сигма-алгебра \(\mathcal{F}\) на нем. Множество \(A \in \mathcal{F}\) называется событием.
Определение 4 Функция \(\mathbb {P}: \mathcal{F} \to [0,1]\) называется вероятностной мерой (или просто вероятностью), если \(\mathbb {P}\left(\varnothing \right) = 0\), \(\mathbb {P}\left(\Omega \right)= 1\) и \(\mathbb {P}\) счетно-аддитивна: \[ \mathbb{P}\left(\bigsqcup_{n=1}^{\infty} A_i\right) = \sum_{i=1}^{\infty} \mathbb{P}\left(A_i\right) \] для любого набора непересекающихся множеств \(\left\{ A_n\right\}_{n=1}^{\infty } \subset \mathcal{F}\). Т.е. \(A_n \in \mathcal{F}\) для всех \(n\) и \(A_{n_1} \cap A_{n_2} = \varnothing\) для любых различных \(n_1 \neq n_2\).
Непересекающиеся множества из \(\mathcal{F}\) еще называют несовместными событиями. Счетная аддитивность означает, что вероятность выполнения счетного набора несовместных событий (хотя бы одного из них) можно вычислить как сумму ряда вероятностей каждого из них.
Определение 5 Тройку \((\Omega , \mathcal{F}, \mathbb {P})\), состоящую из множества элементарных событий, сигма-алгебры событий и вероятностной меры, называют вероятностным пространством или тройкой Колмогорова.
2 Дискретная модель: классический случай
Предположим теперь, что рассматриваемое нами пространство элементарных исходов является конечным, т.е. \(\left|\Omega \right| = N \in \mathbb {N}\). Зададим в качестве сигма-алгебры на нем множество всех подмножеств \(\Omega\): \(\mathcal{F} = 2^{\Omega }\). Также будем считать, что вероятности всех элементарных исходов равны, т.е.
\[ \forall i \in\{1, \ldots, N\} \quad \mathbb{P}\left(\omega\right) := \mathbb{P}\left(\left\{\omega\right\}\right) =\frac{1}{N} \]
Иначе можно записать так: \(\mathbb {P}\left(P\right) = \frac{1}{N}\#\), где \(\#\) – это считающая мера, которая в общем случае задается так:
\[ \#(A) = \begin{cases} n, & \text{ если $A$ конечно и в нем $n$ эл-ов} \\ + \infty, & \text{в прот. сл.} \end{cases} \]
Эксперимент, описываемый таким вероятностным пространством, называется классической вероятностной моделью. Подобным экспериментом может служить, к примеру, бросание игральной кости. Здесь \(\Omega =\{ 1,2,3,4,5,6\} , \mathcal{F}=2^{\Omega }\) и \(\mathbb {P}\left(i\right)=\frac{1}{6}\).
В качестве примеров классической вероятностной модели рассмотрим стандартные урновые схемы: из корзины с \(n\) предметами случайным образом выбирается \(k\) предметов. Будем исходить из предположения, что появление любого элемента равновероятно.
3 Классическая геометрическая модель
Классическая геометрическая вероятность — класс вероятностных моделей, где:
Пространство элементарных исходов: \(\Omega \in \mathscr {B}\left(\mathbb {R}^n\right)\) — борелевское подмножество \(\mathbb {R}^{n}\) с конечным \(n\)-мерным объемом (\(n = 1, 2, 3\));
События: \(\mathcal{F} = \mathcal{B}(\Omega )\) — борелевская \(\sigma\)-алгебра на \(\Omega\);
Вероятность: равномерная, а именно \(\mathbb {P}(A) = \frac{\lambda (A)}{\lambda (\Omega )}\), где \(\lambda\) — мера \(n\)-мерная Лебега.
Таким образом, вероятностное пространство имеет вид:
\[ (\Omega, \mathcal{B}(\Omega), \mathbb{P}) \]
где \(\mathbb {P}(A) = \dfrac {\lambda (A)}{\lambda (\Omega )}\) для любого \(A \in \mathcal{B}(\Omega )\).
Эта модель описывает эксперименты, где частица равномерно распределена в области \(\Omega\), и вероятность попадания в подобласть \(A\) пропорциональна её объёму.
Рассмотрим окружность радиуса \(R\). Наудачу выбирается хорда этой окружности. Требуется найти вероятность того, что длина хорды \(\xi\) превышает длину стороны равностороннего треугольника, вписанного в эту окружность, т.е. вероятность \[ \Omega = [0, 2\pi) \times [0, 2\pi), \quad \mathcal{F} = \mathscr{B}\left(\Omega\right), \quad \mathbb{P} = \frac{\lambda}{\lambda(\Omega)} = \frac{\lambda}{4\pi^2} \]
Парадокс Бертрана состоит в том, что данная задача может иметь различные вероятностные интерпретации, приводящие к разным ответам. Рассмотрим три классических подхода.
Хорда может быть однозначно задана своими концами. Их можно задать углами от оси абсцисс. Т.е. в данном случае \[ \Omega = \{(x,y): x^2 + y^2 < R^2\}, \quad \mathcal{F} = \mathscr{B}\left(\Omega\right), \quad \mathbb{P} = \frac{\lambda}{\lambda(\Omega)} \frac{\lambda}{\pi R^2} \] где \(\lambda\) – мера Лебега на \(\mathbb {R}^{2}\). В данном случае элементарный исход состоит из 2-х углов: \(\omega = (\alpha , \beta ) \in \Omega\).
Хорда длиннее стороны равностороннего треугольника, вписанного в окружность, если \(\angle AOB > 120^\circ = \frac{2}{3}\pi\). Можно посчитать, что нам подходит следующая фигура \(S\):
Ее площадь равна \(12\) квадратикам со стороной \(\frac{1}{3}\pi\), т.е. \(\lambda (S) = 12 \cdot \left(\frac{1}{3}\pi \right)^2 = \frac{4}{3} \pi^2\). Итого, вероятность: \(\frac{\lambda (S)}{\lambda (\Omega )} = \frac{1}{3}\).
Хорда однозначно определяется своим центром. Рассмотрим все хорды, центр которых лежит внутри круга. Тогда:
\[ \Omega = [0, 2\pi) \times [-R, R], \quad \mathcal{F} = \mathscr{B}\left(\Omega\right), \quad \mathbb{P} = \frac{\lambda}{4\pi R} \] Хорда длиннее стороны равностороннего треугольника, если ее центр находится внутри круга радиуса \(R/2\) (где \(R\)- радиус исходной окружности). Это соответствует площади:
Площадь области: \(\lambda (S) = \pi (R/2)^2 = \pi R^2/4\). Вероятность: \(\frac{\lambda (S)}{\lambda (\Omega )} = \frac{1}{4}\).
Выбираем направление хорды, затем выбираем положение ее центра на диаметре, перпендикулярном направлению.
\[ \label{CondProb:Def} \mathbb{P}\left(A \mid B\right) = \begin{cases} \frac{\mathbb{P}\left(A \cap B\right)}{\mathbb{P}\left(B\right)}, & \mathbb{P}\left(B\right) > 0 \\ \text{не определено}, & \mathbb{P}\left(B\right) = 0 \\ \end{cases} \]
В данном случае \(\omega = (\alpha , x)\). Хорда длиннее стороны равностороннего треугольника, если расстояние от центра до хорды \(|x| < R/2\):
Площадь области: \(\lambda (S) = 2\pi R\). Вероятность: \(\frac{\lambda (S)}{\lambda (\Omega )} = \frac{2\pi R}{4\pi R} = \frac{1}{2}\).
4 Дискретная модель: общий случай
В классической дискретной модели считается, что все элементарные исходы равновероятны. Рассмотрим ситуацию, когда это не так. Пусть \(\Omega = \{ \omega_1, \ldots , \omega_N\}\),\(\mathcal{F} = 2^{\Omega }\), а вероятность каждого исхода равна \(p_i = \mathbb {P}\left(\{ \omega_i\} \right)\). Тогда, очевидно, выполнено \(\sum_{i=1}^{N} p_i = 1\), и вероятность произвольного события считается следующим образом: \(\mathbb {P}\left(A\right) = \sum_{i: \omega_i \in A} p_i\). Тем самым мы полностью определили вероятностное пространство с конечным числом исходов \((\Omega , \mathcal{F}, \mathbb {P})\).
5 Условная вероятность
Пусть \((\Omega , \mathcal{F}, \mathbb {P})\) – это вероятностное пространство (в рассматриваемых в этом разделе определениях, как правило, конечное) и \(A \in \mathcal{F}\) – некоторое событие. Часто возникает задача вычислить вероятность события при условии, что выполнено другое событие.
Определение 6 Условной вероятностью\(A\) при условии \(B\) называется \[ \mathbb{P}\left(A \mid B\right) = \begin{cases} \frac{\mathbb{P}\left(A \cap B\right)}{\mathbb{P}\left(B\right)}, & \mathbb{P}\left(B\right) > 0 \\ \text{не определено}, & \mathbb{P}\left(B\right) = 0 \\ \end{cases} \]
Разбиением вероятностного пространства называется такая конечная или счетная система событий \(\left\{ A_1, A_2, \ldots \right\} = \left\{ A_n \; : \; n \in \mathcal{N}\right\}\) (\(\mathcal{N} = \left\{ 1, \ldots , N\right\}\), если система конечна, и \(\mathcal{N} = \mathbb {N}\), если система счетна), что различные события не пересекаются (если \(i \neq j\), то \(A_i \cap A_j = \varnothing\), такая система еще называется дизъюнктной) и в объединении указанные события дают все пространство элементарных исходов:
\[ \bigsqcup_{n \in \mathcal{N}}A_n = \Omega \]
Пусть есть какое-то еще событие \(B\). Заметим, что поскольку \(B \subset \Omega\), будем иметь в таком случае
\[ B = \left(B \cap A_1\right) \sqcup \left(B \cap A_2\right) \sqcup \ldots = \bigsqcup_{n \in \mathcal{N}} B \cap A_n \]
Пользуясь свойством конечной или счетной аддитивности вероятностной меры, получаем
\[ \mathbb{P}\left(B\right) = \sum_{n \in \mathcal{N}} \mathbb{P}\left(B \cap A_n\right) \]
Пусть дополнительно \(\mathbb {P}\left(A_n\right) > 0\), \(\forall n\). Тогда по формуле условной вероятности будем иметь \(\mathbb {P}\left(B \cap A_n\right) = \mathbb {P}\left(B \mid A_n\right) \mathbb {P}\left(A_n\right)\), \(\forall n\). Приходим к следующей теореме.
Теорема 1 (Формула полной вероятности) Пусть имеется разбиение \(\left\{ A_n\right\}_{n \in \mathcal{N}}\) (конечное или счетное) с \(\mathbb {P}\left(A_n\right) > 0\), \(\forall n\). Тогда для любого события \(B\) верна следующая формула: \[ \mathbb{P}\left(B\right) = \sum_{n \in \mathcal{N}} \mathbb{P}\left(B \mid A_n\right) \mathbb{P}\left(A_n\right) \]
Предположим дополнительно, что \(\mathbb {P}\left(B\right) > 0\). Тогда для произвольного \(i \in \mathcal{N}\) будем иметь
\[ \mathbb{P}\left(A_i \mid B\right) = \frac{\mathbb{P}\left(A_i \cap B\right)}{\mathbb{P}\left(B\right)} = \frac{\mathbb{P}\left(B \mid A_i\right) \mathbb{P}\left(A_i\right)}{\mathbb{P}\left(B\right)} \]
Если дополнительно \(\mathbb {P}\left(B\right)\) в знаменателе заменить по формуле полной вероятности, то получим знаменитую формулу Байеса.
Теорема 2 (Формула Байеса) Пусть имеется разбиение \(\left\{ A_n\right\}_{n \in \mathcal{N}}\) (конечное или счетное) с \(\mathbb {P}\left(A_n\right) > 0\), \(\forall n\). Тогда для любого события \(B\) с \(\mathbb {P}\left(B\right) > 0\) и для любого \(i \in \mathcal{N}\) верна следующая формула: \[ \mathbb{P}\left(A_{i} \mid B \right)=\frac{\mathbb{P}\left(B \mid A_i\right) \mathbb{P}\left(A_i\right)}{\sum_{n \in \mathcal{N}} \mathbb{P}\left(B \mid A_n\right) \mathbb{P}\left(A_n\right)} \]
Безусловную вероятность \(\mathbb {P}\left(A\right)\) события \(A\) еще называют априорной, а условную вероятность \(\mathbb {P}\left(A \mid B\right)\) еще называют апостериорной.
6 Независимость
Будем говорить, что событие \(B\)не зависит от события \(A\), если вероятность их одновременного наступления распадается в произведение отдельных вероятностей:
\[ \mathbb{P}\left(A \cap B\right) = \mathbb{P}\left(A\right) \cdot \mathbb{P}\left(B\right) \]
Пусть имеется множество событий \(A_{1}, \ldots , A_{n}\).
Определение 7 Произвольные события \(A, B \in \mathcal{F}\) называются независимыми, если \(\mathbb {P}\left(A \cap B\right) = \mathbb {P}\left(A\right) \cdot \mathbb {P}\left(B\right)\).
События \(A_{1}, \ldots , A_{n}\) называются попарно независимыми, если для любых различных \(i, j \in \{ 1, \ldots , n\}\) события \(A_i\) и \(A_j\) независимы.
События \(A_{1}, \ldots , A_{n}\) называются независимыми в совокупности, если для любого набора индексов \(i_{1}, i_{2}, \ldots , i_{k}, 1 \leq i_{1}<i_{2}<\ldots <i_{k} \leq n\), выполнено
\[ \mathbb{P}\left(A_{i_1} \cap A_{i_2} \cap \ldots \cap A_{i_k}\right) = \mathbb{P}\left(A_{i_1}\right) \cdot \mathbb{P}\left(A_{i_2}\right) \cdot \cdots \cdot \mathbb{P}\left(A_{i_k}\right) \]
Легко видеть, что из независимости в совокупности следует попарная независимость. Обратное, как показывает следующий пример, неверно.
7 Схема Бернулли
Введем теперь так называемую схему Бернулли. Рассмотрим серию идентичных, независимых в совокупности экспериментов, которые имеют 2 исхода (например, многократное подбрасывание монетки). Один из этих исходов назовем успехом (обозначим его \(\{ 1\}\)), а другой – неудачей (обозначим его \(\{ 0\}\)). Известно, что вероятность успеха в одном эксперименте равна \(\mathbb {P}\left(\left\{ 1\right\} \right) =: p\), а неудачи \(\mathbb {P}\left(\left\{ 0\right\} \right) = 1 - p =: q\). Тогда пространство элементарных исходов есть все двоичные последовательности длины \(n\):
\[ \Omega = \left\{\omega = (\varepsilon_1, \ldots, \varepsilon_n) \; : \; \varepsilon_1, \ldots, \varepsilon_n \in \left\{0,1\right\}\right\} \]
а вероятность каждого элементарного исхода равна
\[ \mathbb{P}\left(\omega\right) = p^{\sum_{i=1}^{n} \varepsilon_{i}} q^{n-\sum_{i=1}^{n} \varepsilon_{i}} \]
Легко убедиться, что сумма вероятностей всех исходов в таком случае равна 1. Часто требуется найти вероятность того, что в схеме из \(n\) испытаний Бернулли произошло \(k\) успехов: эта вероятность равна \(C_{n}^{k} p^{k} q^{n-k}\).