Распределения вероятностей. Случайные величины. Матожидание

1 Случайные величины

Многие эксперименты имеют исходы, которые удобно выражать числами. Например, результат броска игральной кости — это число очков на выпавшей грани из множества \(\{ 1, \ldots , 6\}\). При построении вероятностной модели этому числовому исходу ставится в соответствие элементарное событие.

Функция, которая сопоставляет каждому элементарному событию некоторое число, и для которой можно определять вероятности ее попадания в различные (борелевские) подмножества \(\mathbb {R}\), называется случайной величиной. Введение этого понятия служит важным инструментом в теории вероятностей, поскольку позволяет:

• Значительно упростить вычисление вероятностей различных событий,

• Сформулировать и доказать ключевые предельные теоремы.

Прежде чем дать строгое определение случайной величины, полезно вспомнить общее понятие измеримой функции.

Определение 1 Пусть \(\Omega\)- некоторое множество, \(\mathcal{F}\) – \(\sigma\)-алгебра на нем. Пусть, кроме того, \(\mathcal{E}\) – \(\sigma\)-алгебра на некотором множестве \(E\).

• Множество вместе с некоторой своей сигма-алгеброй называется измеримым пространством. \(\left(\Omega , \mathcal{F}\right)\) и \(\left(E, \mathcal{E}\right)\) – это 2 измеримых пространства.

• Отображение \(X: \Omega \rightarrow E\) из одного измеримого пространства в другое называется измеримым (более точно \(\mathcal{F} \mid \mathcal{E}\)-измеримым), если для любого множества \(B \in \mathcal{E}\) его прообраз лежит в \(\mathcal{F}\):

  \[ \underbrace{X^{-1}(B) = \{\omega \in \Omega: X(\omega) \in B\} = \left\{X \in B\right\}}_{\text{различные обозначения прообраза}} \in \mathcal{F} \] Смысл: если на \(\left(\Omega , \mathcal{F}\right)\) задана вероятность (вероятностная мера) \(\mathbb {P}\), то свойство измеримости функции \(X:\Omega \to E\) позволяет измерять вероятность попасть \(X\) в произвольное множество из сигма-алгебры на области значений \(E\).

• В теории вероятностей измеримое отображение называется случайным элементом. Т.е. если \((\Omega , \mathcal{F}, \mathbb {P})\) – вероятностное пространство, и \(X: \Omega \to E\) – измеримое отображение, то \(X\) называется случайным элементом (со значениями в \((E, \mathcal{E})\)).

• Если \((E, \mathcal{E}) = \left(\mathbb {R}, \mathscr {B}\left(\mathbb {R}\right)\right)\), то случайный элемент \(X\) называют случайной величиной. Т.е. случайная величина – это измеримая функция (отображение в \(\left(\mathbb {R}, \mathscr {B}\left(\mathbb {R}\right)\right)\)).

  Еще раз повторим, что измеримость позволяет вычислять вероятность того, что случайная величина, например, не превосходит \(7\): \(\mathbb {P}\left(X \leq 7\right)\). Действительно, \(\left\{ X \leq 7\right\} = \left\{ \omega : \; X(\omega ) \leq 7\right\} = X^{-1}\left((-\infty , 7]\right)\), множество \((-\infty , 7]\) является борелевским, следовательно \(\left\{ X \leq 7\right\} \in \mathcal{F}\) и это множество можно вставлять в вероятность.

• Если отображение \(\xi : \Omega \rightarrow \mathbb {R}^{n}\) является \(\mathcal{F} \mid \mathscr {B}\left(\mathbb {R}^{n}\right)\)-измеримым, то оно называется случайным вектором.

• Отображение \(f: \mathbb {R}^{n} \rightarrow \mathbb {R}^{k}\) называется борелевским (или измеримым по Борелю), если оно является \(\mathcal{B}\left(\mathbb {R}^{n}\right) \mid \mathcal{B}\left(\mathbb {R}^{k}\right)\)-измеримым.

• Отображение \(f: \mathbb {R}^{n} \rightarrow \mathbb {R}^{k}\) называется измеримым по Лебегу, если оно является \(\mathcal{M}\left(\mathbb {R}^{n}\right) \mid \mathcal{B}\left(\mathbb {R}^{k}\right)\)-измеримым, где \(\mathcal{M}\left(\mathbb {R}^{n}\right)\) – сигма-алгебра измеримых по Лебегу подмножеств \(\mathbb {R}^{n}\).

  В последних 2-х определениях разница в сигма-алгебрах на области определения \(\mathbb {R}^{n}\). В области значений \(\mathbb {R}^{k}\) мы всегда берем борелевскую сигма-алгебру.

  Измеримость по Борелю сильнее измеримости по Лебегу: если функция измерима по Борелю, то она измерима и по Лебегу (это простое упражнение).

Нужно отметить, что условие измеримости носит скорее теоретический характер. В реальной практике очень сложно встретить неизмеримую функцию; подавляющее большинство функций будет обладать измеримостью, т.е. будет случайными элементами (величинами или векторами). Все известные вам стандартные функции из \(\mathbb {R}\) в \(\mathbb {R}\) являются измеримыми по Борелю. А в дискретном случае, например, вообще все функции \(\Omega \mapsto \mathbb {R}\) являются измеримыми, поскольку \(\mathcal{F} = 2^{\Omega }\), т.е. любой прообраз попадет в \(\mathcal{F}\).

Для упрощения записи вероятностей событий, связанных со случайными величинами, вводятся обозначения:

\[ \begin{align} \mathbb{P}\left(\left\{\omega: \xi(\omega) \in B\right\}\right) &=: \mathbb{P}\left(\xi \in B\right) \\ \mathbb{P}\left(\left\{\omega: \xi(\omega) < x\right\}\right) &=: \mathbb{P}\left(\xi < x\right) \\ \mathbb{P}\left(\left\{\omega: \xi(\omega) = x\right\}\right) &=: \mathbb{P}\left(\xi =x \right) \\ \mathcal{F}_{\xi} &:= \left\{\xi^{-1}(B) \mid B \in \mathscr{B}\left(\mathbb{R}^{n}\right)\right\} \\ \end{align} \]

Приведем простейшие примеры случайных величин.

• Модель броска монетки с вероятностью орла \(p\): \(\Omega = \left\{ \omega_{\text{о}}, \omega_{\text{р}}\right\}\), \(\mathcal{F}=2^{\Omega }\), \(\mathbb {P}\left(\left\{ \omega_{\text{о}}\right\} \right) = p\). Пусть, кроме того,

  \[ \xi: \Omega \rightarrow \left\{0,1\right\}, \qquad \xi\left(\omega_{\text{о}}\right)=1, \quad \xi\left(\omega_{\text{р}}\right)=0 \] Тогда имеем: \(\mathbb {P}\left(\xi = 1\right) = p\), \(\mathbb {P}\left(\xi = 0\right) = 1-p\).

• Пусть \(\Omega\) – произвольное множество, \(\mathcal{F}\) – это \(\sigma\)-алгебра на нем и \(A \in \mathcal{F}\). Случайная величина \(I_{A}: \Omega \rightarrow \{ 0,1\}\), где \(I_{A}(\omega )=1\) в том и только том случае, когда \(\omega \in A\), называется индикатором события \(A\).

Заметим, что свойство измеримости при определении случайных величин (шире, случайных векторов и элементов) необходимо для подсчета вероятностей свойств, связанных со значениями случайных величин. Иными словами, нас интересуют вероятности \(\mathbb {P}\left(\xi \in B\right)\), \(B \in \mathcal{E}\). Легко доказать, что функция \(\mathbf{P}_{\xi }: \mathcal{B}\left(\mathbb {R}^{n}\right) \rightarrow [0,1]\), значения которой задаются равенством

\[ \mathbf{P}_{\xi}\left(B\right) := \mathbb{P}\left(\xi \in B\right) = \mathbb{P}\left(\left\{\omega \; : \; \xi(\omega) \in B\right\}\right), \]

является вероятностной мерой. В этой связи вводят следующие определения.

Рисунок 1: Случайная величина \(X: \Omega \to \mathbb {R}\) “токлает” вероятностную меру \(\mathbb {P}\) из области определения \((\Omega , \mathcal{F})\) в область значений \((\mathbb {R}, \mathscr {B}\left(\mathbb {R}\right))\). На области значений \((\mathbb {R}, \mathscr {B}\left(\mathbb {R}\right))\) появляется вероятностная мера \(\mathbf{P}_X\) (по английски она так и называется, ). Она задается по правилу \(\mathbf{P}_{X}\left(B\right) := \mathbb {P}\left(X^{-1}(B)\right) = \mathbb {P}\left(X \in B\right)\), \(B \in \mathscr {B}\left(\mathbb {R}\right)\) (т.е. \(\mathbf{P}_{X} = \mathbb {P} \circ X^{-1}\)). Эта мера \(\mathbf{P}_X\) и называется \(X\).

Определение 2 Вероятностная мера \(\mathbf{P}_{\xi }\) на \((\mathbb {R}, \mathscr {B}\left(\mathbb {R}\right))\) называется распределением случайной величины \(\xi\).

2 Распределение вероятностей

Термин распределение (или распределение вероятностей), без привязки к случайной величине, – это, вообщем, синоним вероятностной меры (вероятности). Отличие лишь в том, что вероятность может задаваться на произвольном измеримом пространстве \((\Omega , \mathcal{F})\), а распределение, как правило, задается на \((\mathbb {R}, \mathscr {B}\left(\mathbb {R}\right))\) (шире, на \((\mathbb {R}^{n}, \mathscr {B}\left(\mathbb {R}^{n}\right))\)).

Самые распространенные типы распределений - дискретное и абсолютно непрерывное распределения вероятностей. Мы рассмотрим дискретные.

Носитель распределения – это наименьшее замкнутое множество, мера которого \(1\). Обозначение: \(\operatorname {supp}\mathbf{P}\). Имеем

\[ \operatorname{supp}\mathbf{P} = \bigcap_{\substack{ B \subset \mathbb{R} \\ B \text{ -- замкн.} \\ \mathbf{P}\left(B\right) = 1}} B \]

Например, носитель меры Лебега на отрезке \([0,1]\) – это отрезок \([0,1]\). Носитель меры Дирака в точке \(c\) – это \(\left\{ c\right\}\) (см. ниже).

Распределение \(\mathbf{P}\) называется дискретным, если его носитель – это не более чем счетное множество. Такое распределение удобно задавать просто через массы отдельных точек носителя. Функция, сопоставляющая точкам носителя их массы, называется функцией масс (или функцией вероятности). Обозначение: \(\operatorname {PMF}\) (от англ. probability mass function). Имеем

\[ \operatorname{PMF}(x) := \mathbf{P}\left(\left\{x\right\}\right), \qquad x \in \operatorname{supp}\mathbf{P} \]

Приведем примеры дискретных распределений.

• Мера Дирака в точке \(c \in \mathbb {R}\): \(\delta_c\). Имеем \(\operatorname {supp}\delta_{c} = \left\{ c\right\}\), \(\operatorname {PMF}(c) = 1\).

• Дискретное равномерное распределение\(\operatorname {Unif}\left\{ 1,\ldots ,N\right\}\) на множестве \(\{ 1, \ldots , N\}\) определяется следующим образом:

  \[ \operatorname{supp}\operatorname{Unif}\left\{1,\ldots,N\right\} = \left\{1, \ldots, N\right\}, \qquad \operatorname{PMF}(k) = \frac{1}{N}, \quad k \in \left\{1, \ldots, N\right\} \] Иначе говоря,

  \[ \operatorname{Unif}\left\{1,\ldots,N\right\} = \frac{1}{N}\delta_1 + \frac{1}{N}\delta_2 + \ldots + \frac{1}{N}\delta_N \] Легко проверить, что это действительно распределение: все массы положительны, в сумме дают \(1\).

• Распределение Бернулли с параметром \(p \in (0,1)\): \(\operatorname {Ber}(p)\).

  \[ \operatorname{supp}\operatorname{Ber}(p) = \left\{0,1\right\}, \qquad \operatorname{PMF}(0) = 1-p, \quad \operatorname{PMF}(1) = p \] Иначе говоря,

  \[ \operatorname{Ber}(p) = (1-p)\cdot \delta_0 + p\cdot \delta_{1} \] Физическая модель – бросок несимметричной монеты, где выпадению орла сопостовляется \(1\), а выпадению решки \(0\).

• Биномиальное распределение\(\operatorname {Bin}(n,p)\) с параметрами \((n, p)\), \(n \in \mathbb {N}, p \in (0,1)\):

  \[ \operatorname{PMF}(k) = C_{n}^{k}p^{k}(1-p)^{n-k}, \qquad k \in \left\{0, \ldots, n\right\} = \operatorname{supp}\operatorname{Bin}(n,p) \] Физическая модель - количество успехов в \(n\) независимых испытаниях в схеме Бернулли.

• Пуассоновское распределение\(\operatorname {Pois}(\lambda )\) с параметром \(\lambda >0\):

  \[ \operatorname{PMF}(k) = \frac{\lambda^{k}}{k!} e^{-\lambda}, \qquad k \in \mathbb{Z}_{+} = \left\{0,1,2, \ldots \right\} = \operatorname{supp}\operatorname{Pois}(\lambda) \] Физическая модель – количество успехов серии независимых испытаний в схеме Бернулли с параметром \(\lambda / n\), где \(n \gg \lambda )\).

• Геометрическое распределение\(\operatorname {Geom}(p)\) с параметром \(p \in (0,1)\):

  \[ \operatorname{PMF}(k) = (1-p)^{k-1}p, \qquad k \in \mathbb{N} = \operatorname{supp}\operatorname{Geom}(p) \] Физическая модель: количество бросков монетки до первого орла.

Случайные величины \(\xi , \eta\) называются независимыми, если независимы события \(\left\{ \xi \in B_1\right\}\), \(\left\{ \eta \in B_2\right\}\) для произвольных борелевских \(B_1, B_2 \in \mathscr {B}\left(\mathbb {R}\right)\). Т.е.

\[ \mathbb{P}\left(\xi \in B_1, \eta \in B_2\right) = \mathbb{P}\left(\xi \in B_1\right) \cdot \mathbb{P}\left(\eta \in B_2\right), \qquad \forall \; B_1, B_2 \in \mathscr{B}\left(\mathbb{R}\right) \]

ExampleПример 1

Для двух независимых случайных величин \(\xi \sim \operatorname {Pois}(\lambda )\) и \(\eta \sim \operatorname {Pois}(\theta )\) найдите распределение величины \(\xi +\eta\).

Примечание. Запись \(\xi \sim \operatorname {Pois}(\lambda )\) обозначает, что \(\xi\) распределена по пуассоновскому закону: \(\mathbf{P}_{\xi } = \operatorname {Pois}(\lambda )\).

SolutionРешение

Носитель \(\xi\), \(\eta\) (т.е. носитель их распределений) – это множество \(\mathbb {Z}_{+}\). Значит и их сумма с вероятностью \(1\) будет принимать значения в \(\mathbb {Z}_{+}\): \(\operatorname {supp}(\xi + \eta ) \subseteq \mathbb {Z}_+\)¹. Чтобы решить задачу, достаточно найти функцию масс для \(\xi + \eta\). Для произвольного \(k \in \mathbb {Z}_+\) имеем \[ \operatorname{PMF}_{\xi + \eta}(k) = \mathbf{P}_{\xi + \eta}(\left\{k\right\}) = \mathbb{P}\left(\xi + \eta = k\right) = \sum_{i=0}^{k} \mathbb{P}\left(\xi = i, \; \eta = k-i\right) \] Воспользуемся независимостью \(\xi\), \(\eta\), получим \[ \begin{align} \mathbb{P}\left(\xi = i, \; \eta = k-i\right) &= \mathbb{P}\left(\xi \in \left\{i\right\}, \; \eta \in \left\{k-i\right\}\right) = \mathbb{P}\left(\xi = i\right) \cdot \mathbb{P}\left(\eta = k-i\right) = e^{-(\lambda + \theta)} \cdot \frac{\lambda^{i}}{i!} \cdot \frac{\theta^{k-i}}{(k-i)!} = \\ &= e^{-(\lambda + \theta)} \cdot \frac{1}{k!} \cdot C_{k}^{i} \cdot \lambda^{i} \cdot \theta^{k-i} \end{align} \] Далее, используя бином Ньютона, получаем \[ \operatorname{PMF}_{\xi + \eta}(k) = e^{-(\lambda + \theta)} \cdot \frac{1}{k!} \cdot \sum_{i=0}^{k} C_{k}^{i} \cdot \lambda^{i} \cdot \theta^{k-i} = e^{-(\lambda + \theta)} \cdot \frac{1}{k!} \cdot (\lambda + \theta)^{k} \]

AnswerОтвет

\(\xi + \eta \sim \operatorname {Pois}(\lambda + \theta )\)

В приведённом выше примере, как можно заметить, хотя речь шла о случайной величине, на самом деле объектом изучения было не само отображение \(\Omega \to \mathbb {R}\), а его распределение вероятностей. В теории вероятностей так часто происходит: случайную величину и ее распределение используют взаимозаменяемо. Важно при этом все таки отличать их. Распределение случайной величины – это лишь одна из ее характеристик. Две абсолютно разные случайные величины (как функции) могут иметь одинаковое распределение.

ProblemЗадача 1

Для двух независимых случайных величин \(\xi \sim \operatorname {Bin}(n, p)\) и \(\eta \sim \operatorname {Bin}(m, p)\) найдите распределение величины \(\xi +\eta\).

3 От распределения к случайной величине

Как мы выяснили, любая случайная величина имеет распределение, т.е. порождает вероятностную меру на \((\mathbb {R}, \mathcal{B}(\mathbb {R}))\). В реальных задачах, однако, зачастую вообще не упоминают исходное вероятностное пространство \((\Omega , \mathcal{F}, \mathbb {P})\), а просто говорят о некоторой случайной величине с заданным распределением \(\mathbf{P}\).

Возникает вопрос: а существует ли в принципе такая случайная величина? Можно ли построить \((\Omega , \mathcal{F}, \mathbb {P})\) и измеримое отображение \(X \colon \Omega \to \mathbb {R}\) так, чтобы \(\mathbf{P} = \mathbf{P}_{X}\)? Ответ на этот вопрос утвердительный. Вот стандартная конструкция:

\[ (\Omega, \mathcal{F}, \mathbb{P}) := (\mathbb{R}, \mathcal{B}(\mathbb{R}), \mathbf{P}), \qquad X(\omega) := \omega \qquad \text{(т.е. $X = \operatorname{Id}$)}. \]

Ее можно несколько упростить, если брать вместо \(\mathbb {R}\) только лишь носитель распределения \(\mathbf{P}\):

\[ \Omega := \operatorname{supp}\mathbf{P}, \qquad \mathcal{F} := \left\{B \cap \operatorname{supp}\mathbf{P}, \; B \in \mathscr{B}\left(\mathbb{R}\right)\right\}, \qquad \mathbb{P} := \mathbf{P}|_{\operatorname{supp}\mathbf{P}} \]

ExampleПример 2

1. Докажите существование случайной величины с распределением Пуассона с параметром \(\lambda > 0\).

2. Докажите существование двух независимых пуассоновских случайных величин с параметрами \(\lambda_1, \lambda_2 \in (0,+\infty )\).

SolutionРешение

Enum-item1.

Пусть \(\Omega = \mathbb {Z}_+\), \(\mathcal{F} = 2^{\mathbb {Z}_+}\), \(\mathbb {P} = \operatorname {Pois}(\lambda )\), \(X = \operatorname {Id}\).

Enum-item2.

Пусть \(\Omega = \mathbb {Z}_+ \times \mathbb {Z}_+\), \(\mathcal{F} = 2^{\Omega }\). Далее, для произвольного \(\omega = (k_1, k_2) \in \mathbb {Z}_+ \times \mathbb {Z}_+\) пусть

\[ \mathbb{P}\left(\left\{\omega\right\}\right) := \frac{\lambda_1^{k_1}}{k_1!}e^{-\lambda_1} \cdot \frac{\lambda_1^{k_2}}{k_2!}e^{-\lambda_2} \] Пусть \(X := \operatorname {Id}\). Имеем \(X: \Omega \to \mathbb {Z}_+ \times \mathbb {Z}_+\), т.е. у \(X\) две координатные функции: \(X = (X_1, X_2)\). Вот \(X_1, X_2\) и будут независимыми Пуассоновскими с параметрами \(\lambda_1\), \(\lambda_2\) (проверьте сами).

4 Функция распределения

Определение 3 Пусть \(\mathbf{P}\) – распределение на \((\mathbb {R}, \mathscr {B}\left(\mathbb {R}\right))\). Функция

\[ F_{\mathbf{P}}(x) := \mathbf{P}\left((-\infty, x]\right), \quad x \in \mathbb{R} \] называется функцией распределения вероятностной меры \(\mathbf{P}\).

Если \(\xi\) – это случайная величина, то функцией распределения \(\xi\) называется функция

\[ F_{\xi}(x) := F_{\mathbf{P}_{\xi}}(x) = \mathbb{P}\left(\xi \in (-\infty, x]\right) = \mathbb{P}\left(\xi \leq x\right), \quad x \in \mathbb{R} \]

Отметим свойства функции распределения.

1. \(F(x)\) – неубывающая функция;

2. \(\lim_{x \rightarrow -\infty } F(x)=0\), \(\lim_{x \rightarrow +\infty } F(x)=1\);

3. \(F(x)\) непрерывна справа и имеет пределы слева в каждой точке \(x \in \mathbb {R}\).

Оказывается, для задания распределения вероятностей достаточно задать вероятностную меру лишь на множествах \((-\infty , x]\) для всех действительных \(x\).

Теорема 1 Пусть \(F=F(x)\) – функция на числовой прямой \(\mathbb {R}\), удовлетворяющая свойствам 1 - 3. Тогда на \((\mathbb {R}, \mathscr {B}\left(\mathbb {R}\right))\) существует, и притом единственное, распределение вероятностей \(\mathbf{P}\) такое, что \(F\) – соответствующая этому распределению функция распределения.

Эта теорема оправдывает введение следующего понятия: всякая функция \(F\), удовлетворяющая условиям 1) - 3), называется функцией распределения на числовой прямой \(\mathbb {R}\).

ExampleПример 3

Пусть \(F(x)\) – функция распределения на числовой прямой, соответствующая распределению вероятностей \(\mathbf{P}\). Доказать равенство \(\mathbf{P}\left((a, b]\right) = F(b) - F(a)\) для любых \(-\infty <a<b<\infty\).

SolutionРешение

В силу определения вероятностной меры \[ \mathbf{P}\left((-\infty, a]\right) + \mathbf{P}\left((a, b]\right) = \mathbf{P}\left((-\infty, b]\right) \] В соответствии с определением функции распределения выполнено \(F(a)+ \mathbf{P}\left((a, b]\right) = F(b)\). Окончательно получаем \(\mathbf{P}\left((a, b]\right) = F(a) - F(b)\).

Приведем простейшие примеры функций распределения.

• Пусть

  \[ F(x)= \begin{cases}0, & x<0 \\ x, & 0 \leq x \leq 1 \\ 1, & x>1\end{cases} \] В этом случае соответствующее распределение вероятностей \(\lambda\) называют мерой Лебега на отрезке \([0,1]\). Ясно, что для любых \(a<b \in [0,1]\) выполнено

  \[ \lambda((a, b))=\lambda([a, b))=\lambda((a, b])=\lambda([a, b])=b-a \]

• Пусть

  \[ F(x)= \begin{cases}0, & x<c \\ 1, & x \geq c\end{cases} \] Соответствующее распределение вероятностей:

  \[ \mathbf{P}\left(A\right) = \delta_c(A) = \begin{cases}0, & c \notin A \\ 1, & c \in A\end{cases} \] если \(A \in \mathscr {B}\left(\mathbb {R}\right)\). Т.е. это распределение соответствует единичной массе, сосредоточенной в точке \(c\). Такая вероятностная мера называется мерой Дирака (обозн.: \(\delta_c\)).

ProblemЗадача 2

Для \(\xi \sim \operatorname {Geom}(p)\) найдите функцию распределения \(F_{\xi }(n)\). Найдите т.н. функцию выживания \[ S_{\xi}(n) = 1 - F_{\xi}(n) = \mathbb{P}\left(\xi > n\right), \] \(n \geq 0\).

ProblemЗадача 3

Для независимых случайных величин \(X_{1}, \ldots , X_{n} \sim \operatorname {Geom}(p)\) найдите распределение величины \(\min \left\{ X_{1}, \ldots , X_{n}\right\}\).

ProblemЗадача 4

Для независимых случайных величин \(X_{1}, \ldots , X_{n} \sim \operatorname {Geom}(p)\) найдите распределение величины \(X_{1}+\ldots +X_{n}\).

5 Различные задачи

ExampleПример 4

Пусть летает \(n\) бабочек. Любитель бабочек Владимир поймал \(X \sim \operatorname {Bin}(n, p)\) бабочек. Каждая пойманная бабочка оказывается красивой с вероятностью \(\theta\) независимо от общего количества бабочек и от остальных бабочек. Пусть \(Y\) — количество красивых бабочек среди пойманных. Найдите распределение величины \(Y\).

SolutionРешение

• Первый способ, идейный. Каждая бабочка может быть поймана с вероятностью \(p\), и независимо от этого может быть красивой с вероятностью \(\theta\). Т.е. она одновременно поймана и красива с вероятностью \(p \theta\) (т.е. имеет распределение \(\operatorname {Ber}(p \theta )\)), независимо от других бабочек. \(Y\) – это сумма пойманных и красивых. Сумма независимых биномиальных случайных величин с одним параметром \(p \theta\) – это СВ, распределенная по \(\operatorname {Bin}(n, p \theta )\).

• Второй способ: расписываем в явном виде. Носитель \(X\) – это множество \(\{ 0,\ldots ,n\}\), значит у \(Y\) тот же носитель (или меньше). Заметим, что если среди пойманных \(k\) красивых (\(Y = k\)), то всего поймано не меньше \(k\) (и не больше \(n\) по условию, \(k \leq X \leq n\)). Т.е.

  \[ \left\{Y = k\right\} = \bigsqcup_{i=k}^{n} \left\{Y=k, X = i\right\} \] По формуле полной вероятности имеем

  \[ \begin{align} \mathbb{P}\left(Y = k\right) &= \sum_{i = k}^{n}\mathbb{P}\left(Y = k, X= i\right) = \sum_{i = k}^{n}\mathbb{P}\left(Y = k \mid X= i\right) \cdot \mathbb{P}\left(X = i\right) = \\ &= \sum_{i=k}^{n} \binom{i}{k} \theta^{k}(1-\theta)^{i-k} \cdot \binom{n}{i} p^{i} (1-p)^{n-i} = \\ &= \binom{n}{k} (p \theta)^k \sum_{i=k}^{n} \binom{n-k}{i-k} p^{i-k} (1-\theta)^{i-k} (1-p)^{n-i} \\ &= \binom{n}{k} (p \theta)^k \sum_{j=0}^{n-k} \binom{n-k}{j} [p(1-\theta)]^j (1-p)^{n-k-j} \\ &= \binom{n}{k} (p \theta)^k [p(1-\theta) + (1-p)]^{n-k} \\ &= \binom{n}{k} (p \theta)^k (1 - p\theta)^{n-k} \end{align} \] где мы сделали замену \(j = i - k\) и воспользовались формулой бинома Ньютона.

  Таким образом, \(Y \sim \operatorname {Bin}(n, p\theta )\).

AnswerОтвет

\(\operatorname {Bin}(n, p \theta )\)

ProblemЗадача 5

Некоторое насекомое откладывает \(X \sim \operatorname {Pois}(\lambda )\) яиц. Из них вылупляется \(Y\) потомков, причём вероятность развития насекомого из яйца равна \(p\), и развитие насекомого из яйца не зависит ни от количества яиц, ни от развития других яиц. Найти распределение величины \(Y\).

ProblemЗадача 6

Ося и Киса решают задачи независимо друг от друга: Ося по ОВиТМу, а Киса по матанализу. Известно, что количество решённых Осей задач имеет распределение \(\operatorname {Pois}(\lambda )\), а количество решённых Кисой задачей имеет распределение \(\operatorname {Pois}(\theta )\). Найдите вероятность того, что Ося решил \(k\) задач, если вместе они решили \(n\) задач.

6 Матожидание для дискретного распределения

Математическое ожидание - это, неформально, среднее значение, которое принимает случайная величина. Так, среднее значение, выпадающее на игральной кости, равно \(3.5\), и математическое ожидание случайной величины, равной значению, выпавшему на кости, также равно \(3.5\).

Если случайная величина имеет дискретное распределение, то определение математического ожидание вводится естественным образом как взвешенная сумма значений случайной величины.

Определение 4 Математическим ожиданием случайной величины \(\xi\), имеющей дискретное распределение, называется величина \(\mathbb {E}\left[\xi \right]\), равная \[ \mathbb{E}\left[\xi\right] := \sum_{k \in \operatorname{supp}\xi} k \cdot \mathbb{P}\left(\xi=k\right), \]

Если множество \(X\) бесконечное, то сумма в определении математического ожидания может быть бесконечной или вообще не существовать. В случае, когда сумма бесконечна, говорят, что математическое ожидание бесконечно. Если же сумма не существует, то и математического ожидания не существует.

Если \(\varphi : \mathbb {R} \rightarrow \mathbb {R}\) – произвольная борелевская функция, то по определению \(\mathbb {E}\left[\varphi (\xi )\right] = \sum_{k \in \varphi (X)} k \cdot \mathbb {P}\left(\varphi (\xi ) = k\right)\), где \(\varphi (X)\) – это область значений преобразованной случайной величины \(\varphi (\xi )\). На практике искать область значений \(\varphi (\xi )\) и распределение \(\varphi (\xi )\) часто достаточно сложно, вместо этого используется следующая формула:

\[ \mathbb{E}\left[\varphi(\xi)\right]=\sum_{x \in X} \varphi(x) \mathbb{P}\left(\xi=x\right) \]

где \(X\)- множество значений случайной величины \(\xi\).

ExampleПример 5

Вычислите \(\mathbb {E}\left[\xi \right]\), \(\mathbb {E}\left[\xi^2\right]\), \(\mathbb {E}\left[e^{\xi }\right]\), если

1. \(\xi \sim \operatorname {Bern}(p)\), \(p \in (0,1)\). Т.е. \(\mathbb {P}\left(\xi = 1\right) = 1 - \mathbb {P}\left(\xi = 0\right) = p\).

2. \(\xi \sim \operatorname {Pois}(\lambda )\), \(\lambda > 0\). Т.е. \(\mathbb {P}\left(\xi = k\right) = \frac{\lambda^k}{k!}e^{-\lambda }\).

SolutionРешение

Enum-item1.

\[ \begin{align} \mathbb{E}\left[\xi\right] &= 0 \cdot \mathbb{P}\left(\xi = 0\right) + 1 \cdot \mathbb{P}\left(\xi = 1\right) = p \\ \mathbb{E}\left[\xi^2\right] &= 0^2 \cdot \mathbb{P}\left(\xi = 0\right) + 1^2 \cdot \mathbb{P}\left(\xi = 1\right) = p \\ \mathbb{E}\left[e^\xi\right] &= e^0 \cdot \mathbb{P}\left(\xi = 0\right) + e^1 \cdot \mathbb{P}\left(\xi = 1\right) = (1 - p) + pe \end{align} \]

Enum-item2.

\[ \begin{align} \mathbb{E}\left[\xi\right] &= \sum_{k=0}^{\infty} k \mathbb{P}\left(\xi=k\right)=\lambda e^{-\lambda} \sum_{k=1}^{\infty} \frac{\lambda^{k-1}}{(k-1)!}=\lambda \\ \mathbb{E}\left[\xi^2\right] &= \sum_{k=0}^{\infty} k^2 \mathbb{P}\left(\xi=k\right)= e^{-\lambda} \sum_{k=1}^{\infty} \quad \underbrace{k}_{(k-1) + 1} \frac{\lambda^k}{(k-1)!} = e^{-\lambda} \cdot \left(\sum_{k=2}^{\infty} \frac{\lambda^k}{(k-2)!} + \sum_{k=1}^{\infty} \frac{\lambda^k}{(k-1)!}\right) = \\ &= e^{-\lambda} \cdot \left(\lambda^2 e^{\lambda} + \lambda e^{\lambda}\right) = \lambda^2 + \lambda\\ \mathbb{E}\left[e^\xi\right] &= \sum_{k=0}^{\infty} e^{k} \mathbb{P}\left(\xi=k\right) = e^{-\lambda} \sum_{k=0}^{\infty} \frac{(\lambda e)^k}{k!} = e^{-\lambda} \cdot e^{\lambda e} = e^{\lambda(e - 1)} \end{align} \]

Свойства:

• Матожидание линейно:

  • \(\mathbb {E}\left[\alpha \cdot \xi \right] = \alpha \cdot \mathbb {E}\left[\xi \right]\), \(\alpha \in \mathbb {R}\), \(\xi\) – СВ.

  • \(\mathbb {E}\left[\xi + \eta \right] = \mathbb {E}\left[\xi \right] + \mathbb {E}\left[\eta \right]\) для любых случайных величин \(\xi\), \(\eta\) (при условии, что матожи существуют).

• Если случайные величины независимы, то матожидание мультипликативно:

  \[ \mathbb{E}\left[\xi \cdot \eta\right] = \mathbb{E}\left[\xi\right] \cdot \mathbb{E}\left[\eta\right] \] Однако в общем случае, как правило, матожидание не мультипликативно: \(\mathbb {E}\left[\xi \cdot \eta \right] \neq \mathbb {E}\left[\xi \right] \cdot \mathbb {E}\left[\eta \right]\). В частности, если \(\xi\) имеет какое-то нетривиальное распределение (не распределение Дирака), то, например, \(\mathbb {E}\left[\xi^2\right] \neq \left(\mathbb {E}\left[\xi \right]\right)^2\).

7 Дисперсия

Разумеется, по одному известному среднему значению случайной величины сложно судить о eе распределении. Дополнительную информацию дает среднее квадратическое отклонение от математического ожидания, которое называют дисперсией.

Определение 5 Дисперсией случайной величины \(\xi\) называется величина \[ \operatorname{Var}\left[\xi\right] = \mathbb{E}\left[(\xi - \mathbb{E}\left[\xi\right])^2\right] \]

В силу линейности матожидания для дисперсии есть удобная формула:

\[ \operatorname{Var}\left[\xi\right] = \mathbb{E}\left[\xi^2 - 2\xi \cdot \mathbb{E}\left[\xi\right] + \left(\mathbb{E}\left[\xi\right]\right)^2\right] = \mathbb{E}\left[\xi^2\right] - 2 \cdot \mathbb{E}\left[\xi\right] \cdot \mathbb{E}\left[\xi\right] + \left(\mathbb{E}\left[\xi\right]\right)^2 = \mathbb{E}\left[\xi^2\right] - \left(\mathbb{E}\left[\xi\right]\right)^2 \]

ExampleПример 6

Случайная величина \(\xi\) имеет пуассоновское распределение с параметром \(\lambda\). Найдите \(\operatorname {Var}\left[\xi \right]\).

SolutionРешение

Мы выше уже получали \(\mathbb {E}\left[\xi \right] = \lambda\), \(\mathbb {E}\left[\xi^2\right] = \lambda^2 + \lambda\). Следовательно \[ \operatorname{Var}\left[\xi\right] = \mathbb{E}\left[\xi^2\right] - \left(\mathbb{E}\left[\xi\right]\right)^2 = \lambda^2 + \lambda - \lambda^2 = \lambda \]

ExampleПример 7

Пусть \(R_n = \left\{ 1, \ldots , n\right\}\). Случайная величина \(\xi\) равна количеству элементов \(R_{n}\), остающихся на своих местах при случайной перестановке. Найдите \(\mathbb {E}\left[\xi \right]\) и \(\operatorname {Var}\left[\xi \right]\).

SolutionРешение

Пусть для каждого \(i \in \{ 1, \ldots , n\}\) случайная величина \(\xi_{i}\) равна индикатору события \(A_{i}\), которое заключается в том, что элемент \(i\) остался на своем месте после случайной перестановки. Заметим, что \(\xi_i \sim \operatorname {Ber}(p_i)\), где \(p_i = \mathbb {P}\left(A_i\right)\). Имеем

\[ \xi=\xi_{1}+\ldots+\xi_{n} \] Матожидание:

\[ \mathbb{E}\left[\xi_i\right] = \mathbb{P}\left(A_{i}\right)=\frac{(n-1)!}{n!}=\frac{1}{n} \] В силу свойства линейности матожа получаем

\[ \mathbb{E}\left[\xi\right]=\mathbb{E}\left[\xi\right]_{1}+\ldots+\mathbb{E}\left[\xi\right]_{n}=1 \] Дисперсия:

\[ \begin{align} \operatorname{Var}\left[\xi\right] &= \mathbb{E}\left[\xi\right]^{2}-(\mathbb{E}\left[\xi\right])^{2} = \mathbb{E}\left[\left(\xi_{1}+\ldots+\xi_{n}\right)^2\right] - 1 = \\ &= \sum_{i, j=1}^{n} \mathbb{E}\left[\xi_{i} \xi_j\right] - 1 =\sum_{i=1}^{n} \mathbb{E}\left[\xi_{i}^2\right]+2 \sum_{1 \leq i<j \leq n} \mathbb{E}\left[\xi_{i} \xi_{j}\right]-1= \\ &=\sum_{i=1}^{n} \mathbb{E}\left[\xi_{i}\right]+n(n-1) \mathbb{E}\left[\xi_{1} \xi_{2}\right]-1=1+n(n-1) \frac{(n-2)!}{n!}-1= \\ &= 1 \end{align} \]

ProblemЗадача 7

Шестигранный кубик подбрасывается независимо \(n\) раз. Случайная величина \(\xi\) равна количеству выпавших единиц, а \(\eta\) — сумме выпавших очков. Найдите математические ожидания этих величин.

ProblemЗадача 8

Случайная величина \(\xi\) имеет дискретное распределение на \(\mathbb {N}\), \[ \operatorname{PMF}(k) = \frac{C}{k(k+1)} \qquad \text { для } \quad k \in \mathbb{N} \] Найдите константу \(C \in \mathbb {R}\). Найдите для получившегося распределения математическое ожидание.

Сноски

1. Запись \(\operatorname {supp}(\xi + \eta )\) обозначает носитель распределения \(\xi + \eta\), т.е. \(\operatorname {supp}(\xi + \eta ) = \operatorname {supp}\mathbf{P}_{\xi + \eta }\).