Распределения вероятностей. Случайные величины. Матожидание

Дата публикации

2 сентября 2026

Черновик

Этот конспект ещё находится в процессе редактуры: в тексте могут встречаться опечатки, неточности и локально не проработанные места. Если что-то нашли — сообщите, пожалуйста, автору (контакты на странице курса).

1 Случайные величины

Многие эксперименты имеют исходы, которые удобно выражать числами. Например, результат броска игральной кости — это число очков на выпавшей грани из множества $\{ 1, \ldots , 6\}$. При построении вероятностной модели этому числовому исходу ставится в соответствие элементарное событие.

Функция, которая сопоставляет каждому элементарному событию некоторое число, и для которой можно определять вероятности ее попадания в различные (борелевские) подмножества $\mathbb {R}$, называется случайной величиной. Введение этого понятия служит важным инструментом в теории вероятностей, поскольку позволяет:

Значительно упростить вычисление вероятностей различных событий,
Сформулировать и доказать ключевые предельные теоремы.

Прежде чем дать строгое определение случайной величины, полезно вспомнить общее понятие измеримой функции.

Определение 1 Пусть $\Omega$- некоторое множество, $\mathcal{F}$ – $\sigma$-алгебра на нем. Пусть, кроме того, $\mathcal{E}$ – $\sigma$-алгебра на некотором множестве $E$.

Множество вместе с некоторой своей сигма-алгеброй называется измеримым пространством. $\left(\Omega , \mathcal{F}\right)$ и $\left(E, \mathcal{E}\right)$ – это 2 измеримых пространства.
Отображение $X: \Omega \rightarrow E$ из одного измеримого пространства в другое называется измеримым (более точно $\mathcal{F} \mid \mathcal{E}$-измеримым), если для любого множества $B \in \mathcal{E}$ его прообраз лежит в $\mathcal{F}$:

\[ \underbrace{X^{-1}(B) = \{ \omega \in \Omega : X(\omega ) \in B\} = \left\{ X \in B\right\} }_{\text{различные обозначения прообраза}} \in \mathcal{F} \]

Смысл: если на $\left(\Omega , \mathcal{F}\right)$ задана вероятность (вероятностная мера) $\mathbb {P}$, то свойство измеримости функции $X:\Omega \to E$ позволяет измерять вероятность попасть $X$ в произвольное множество из сигма-алгебры на области значений $E$.
В теории вероятностей измеримое отображение называется случайным элементом. Т.е. если $(\Omega , \mathcal{F}, \mathbb {P})$ – вероятностное пространство, и $X: \Omega \to E$ – измеримое отображение, то $X$ называется случайным элементом (со значениями в $(E, \mathcal{E})$).
Если $(E, \mathcal{E}) = \left(\mathbb {R}, \mathscr {B}\left(\mathbb {R}\right)\right)$, то случайный элемент $X$ называют случайной величиной. Т.е. случайная величина – это измеримая функция (отображение в $\left(\mathbb {R}, \mathscr {B}\left(\mathbb {R}\right)\right)$).

Еще раз повторим, что измеримость позволяет вычислять вероятность того, что случайная величина, например, не превосходит $7$: $\mathbb {P}\left(X \leq 7\right)$. Действительно, $\left\{ X \leq 7\right\} = \left\{ \omega : \; X(\omega ) \leq 7\right\} = X^{-1}\left((-\infty , 7]\right)$, множество $(-\infty , 7]$ является борелевским, следовательно $\left\{ X \leq 7\right\} \in \mathcal{F}$ и это множество можно вставлять в вероятность.
Если отображение $\xi : \Omega \rightarrow \mathbb {R}^{n}$ является $\mathcal{F} \mid \mathscr {B}\left(\mathbb {R}^{n}\right)$-измеримым, то оно называется случайным вектором.
Отображение $f: \mathbb {R}^{n} \rightarrow \mathbb {R}^{k}$ называется борелевским (или измеримым по Борелю), если оно является $\mathcal{B}\left(\mathbb {R}^{n}\right) \mid \mathcal{B}\left(\mathbb {R}^{k}\right)$-измеримым.

измеримость и борелевская сигма-алгебраmeasurability Определение случайной величины опирается на борелевскую сигма-алгебру $\mathscr {B}\left(\mathbb {R}\right)$, которую мы строго построим в главе о системах множеств и борелевской сигма-алгебре, а систематическое изучение измеримых функций нас ждёт в главе об измеримых функциях. Пока достаточно такого понимания: $\mathscr {B}\left(\mathbb {R}\right)$ содержит все множества, которые встречаются на практике (все промежутки и всё, что можно получить из них счётными объединениями, пересечениями и дополнениями), а измеримость – техническое условие согласованности $X$ с сигма-алгебрами, которое для всех практически встречающихся функций выполняется автоматически. В дискретном случае ($\mathcal{F} = 2^{\Omega }$) измерима вообще любая функция.

Нужно отметить, что условие измеримости носит скорее теоретический характер. В реальной практике очень сложно встретить неизмеримую функцию; подавляющее большинство функций будет обладать измеримостью, т.е. будет случайными элементами (величинами или векторами). Все известные вам стандартные функции из $\mathbb {R}$ в $\mathbb {R}$ являются измеримыми по Борелю. А в дискретном случае, например, вообще все функции $\Omega \mapsto \mathbb {R}$ являются измеримыми, поскольку $\mathcal{F} = 2^{\Omega }$, т.е. любой прообраз попадет в $\mathcal{F}$.

Для упрощения записи вероятностей событий, связанных со случайными величинами, вводятся обозначения:

\[ \begin{align} \mathbb {P}\left(\left\{ \omega : \xi (\omega ) \in B\right\} \right) & =: \mathbb {P}\left(\xi \in B\right) \\ \mathbb {P}\left(\left\{ \omega : \xi (\omega ) < x\right\} \right) & =: \mathbb {P}\left(\xi < x\right) \\ \mathbb {P}\left(\left\{ \omega : \xi (\omega ) = x\right\} \right) & =: \mathbb {P}\left(\xi =x \right) \\ \mathcal{F}_{\xi } & := \left\{ \xi ^{-1}(B) \mid B \in \mathscr {B}\left(\mathbb {R}^{n}\right)\right\} \\ \end{align} \]

Приведем простейшие примеры случайных величин.

Модель броска монетки с вероятностью орла $p$: $\Omega = \left\{ \omega_{\text{о}}, \omega_{\text{р}}\right\}$, $\mathcal{F}=2^{\Omega }$, $\mathbb {P}\left(\left\{ \omega_{\text{о}}\right\} \right) = p$. Пусть, кроме того,

\[ \xi : \Omega \rightarrow \left\{ 0,1\right\} , \qquad \xi \left(\omega _{\text{о}}\right)=1, \quad \xi \left(\omega _{\text{р}}\right)=0 \]

Тогда имеем: $\mathbb {P}\left(\xi = 1\right) = p$, $\mathbb {P}\left(\xi = 0\right) = 1-p$.
Пусть $\Omega$ – произвольное множество, $\mathcal{F}$ – это $\sigma$-алгебра на нем и $A \in \mathcal{F}$. Случайная величина $I_{A}: \Omega \rightarrow \{ 0,1\}$, где $I_{A}(\omega )=1$ в том и только том случае, когда $\omega \in A$, называется индикатором события $A$.

Заметим, что свойство измеримости при определении случайных величин (шире, случайных векторов и элементов) необходимо для подсчета вероятностей свойств, связанных со значениями случайных величин. Иными словами, нас интересуют вероятности $\mathbb {P}\left(\xi \in B\right)$, $B \in \mathcal{E}$. Легко доказать, что функция $\mathbf{P}_{\xi }: \mathcal{B}\left(\mathbb {R}^{n}\right) \rightarrow [0,1]$, значения которой задаются равенством

\[ \mathbf{P}_{\xi }\left(B\right) := \mathbb {P}\left(\xi \in B\right) = \mathbb {P}\left(\left\{ \omega \; : \; \xi (\omega ) \in B\right\} \right), \]

является вероятностной мерой. В этой связи вводят следующие определения.

Рисунок 1: Случайная величина $X: \Omega \to \mathbb {R}$ “токлает” вероятностную меру $\mathbb {P}$ из области определения $(\Omega , \mathcal{F})$ в область значений $(\mathbb {R}, \mathscr {B}\left(\mathbb {R}\right))$. На области значений $(\mathbb {R}, \mathscr {B}\left(\mathbb {R}\right))$ появляется вероятностная мера $\mathbf{P}_X$ (по английски она так и называется, ). Она задается по правилу $\mathbf{P}_{X}\left(B\right) := \mathbb {P}\left(X^{-1}(B)\right) = \mathbb {P}\left(X \in B\right)$, $B \in \mathscr {B}\left(\mathbb {R}\right)$ (т.е. $\mathbf{P}_{X} = \mathbb {P} \circ X^{-1}$). Эта мера $\mathbf{P}_X$ и называется $X$.

Определение 2 Вероятностная мера $\mathbf{P}_{\xi }$ на $(\mathbb {R}, \mathscr {B}\left(\mathbb {R}\right))$ называется распределением случайной величины $\xi$.

2 Распределение вероятностей

Термин распределение (или распределение вероятностей), без привязки к случайной величине, – это, вообщем, синоним вероятностной меры (вероятности). Отличие лишь в том, что вероятность может задаваться на произвольном измеримом пространстве $(\Omega , \mathcal{F})$, а распределение, как правило, задается на $(\mathbb {R}, \mathscr {B}\left(\mathbb {R}\right))$ (шире, на $(\mathbb {R}^{n}, \mathscr {B}\left(\mathbb {R}^{n}\right))$).

Самые распространенные типы распределений - дискретное и абсолютно непрерывное распределения вероятностей. Мы рассмотрим дискретные.

а где непрерывные распределения?densities В этой главе мы сознательно ограничиваемся дискретными распределениями. Привычные <<непрерывные>> распределения – равномерное на отрезке, нормальное $\mathscr {N}\left(a, \sigma^2\right)$, экспоненциальное – задаются не массами отдельных точек, а плотностью. Чтобы честно определить, что такое плотность и как по ней считать вероятности и матожидания, нужен интеграл Лебега (главы о построении интеграла Лебега–о его свойствах) и теорема Радона–Никодима (глава о мерах со знаком). Это ещё одна – и, пожалуй, главная прикладная – причина строить теорию меры.

Носитель распределения – это наименьшее замкнутое множество, мера которого $1$. Обозначение: $\operatorname {supp}\mathbf{P}$. Имеем

\[ \operatorname {supp}\mathbf{P} = \bigcap _{\substack { B \subset \mathbb {R} \\ B \text{ -- замкн.} \\ \mathbf{P}\left(B\right) = 1}} B \]

Например, носитель меры Лебега на отрезке $[0,1]$ – это отрезок $[0,1]$. Носитель меры Дирака в точке $c$ – это $\left\{ c\right\}$ (см. ниже).

Распределение $\mathbf{P}$ называется дискретным, если его носитель – это не более чем счетное множество. Такое распределение удобно задавать просто через массы отдельных точек носителя: значение $\mathbf{P}\left(\left\{ x\right\} \right)$, $x \in \operatorname {supp}\mathbf{P}$, называют функцией масс (или функцией вероятности; от англ. probability mass function происходит часто встречающееся сокращение PMF).

Приведем примеры дискретных распределений.

Мера Дирака в точке $c \in \mathbb {R}$: $\delta_c$. Имеем $\operatorname {supp}\delta_{c} = \left\{ c\right\}$, $\mathbf{P}\left(\left\{ c\right\} \right) = 1$.
Дискретное равномерное распределение $\operatorname {Unif}\left\{ 1,\ldots ,N\right\}$ на множестве $\{ 1, \ldots , N\}$ определяется следующим образом:

\[ \operatorname {supp}\operatorname {Unif}\left\{ 1,\ldots ,N\right\} = \left\{ 1, \ldots , N\right\} , \qquad \mathbf{P}\left(\left\{ k\right\} \right) = \frac{1}{N}, \quad k \in \left\{ 1, \ldots , N\right\} \]

Иначе говоря,

\[ \operatorname {Unif}\left\{ 1,\ldots ,N\right\} = \frac{1}{N}\delta _1 + \frac{1}{N}\delta _2 + \ldots + \frac{1}{N}\delta _N \]

Легко проверить, что это действительно распределение: все массы положительны, в сумме дают $1$.
Распределение Бернулли с параметром $p \in (0,1)$: $\operatorname {Ber}(p)$.

\[ \operatorname {supp}\operatorname {Ber}(p) = \left\{ 0,1\right\} , \qquad \mathbf{P}\left(\left\{ 0\right\} \right) = 1-p, \quad \mathbf{P}\left(\left\{ 1\right\} \right) = p \]

Иначе говоря,

\[ \operatorname {Ber}(p) = (1-p)\cdot \delta _0 + p\cdot \delta _{1} \]

Физическая модель – бросок несимметричной монеты, где выпадению орла сопостовляется $1$, а выпадению решки $0$.
Биномиальное распределение $\operatorname {Bin}(n,p)$ с параметрами $(n, p)$, $n \in \mathbb {N}, p \in (0,1)$:

\[ \mathbf{P}\left(\left\{ k\right\} \right) = C_{n}^{k}p^{k}(1-p)^{n-k}, \qquad k \in \left\{ 0, \ldots , n\right\} = \operatorname {supp}\operatorname {Bin}(n,p) \]

Физическая модель - количество успехов в $n$ независимых испытаниях в схеме Бернулли.
Пуассоновское распределение $\operatorname {Pois}(\lambda )$ с параметром $\lambda >0$:

\[ \mathbf{P}\left(\left\{ k\right\} \right) = \frac{\lambda ^{k}}{k!} e^{-\lambda }, \qquad k \in \mathbb {Z}_{+} = \left\{ 0,1,2, \ldots \right\} = \operatorname {supp}\operatorname {Pois}(\lambda ) \]

Физическая модель – количество успехов серии независимых испытаний в схеме Бернулли с параметром $\lambda / n$, где $n \gg \lambda )$.
Геометрическое распределение $\operatorname {Geom}(p)$ с параметром $p \in (0,1)$:

\[ \mathbf{P}\left(\left\{ k\right\} \right) = (1-p)^{k-1}p, \qquad k \in \mathbb {N} = \operatorname {supp}\operatorname {Geom}(p) \]

Физическая модель: количество бросков монетки до первого орла.

Случайные величины $\xi , \eta$ называются независимыми, если независимы события $\left\{ \xi \in B_1\right\}$, $\left\{ \eta \in B_2\right\}$ для произвольных борелевских $B_1, B_2 \in \mathscr {B}\left(\mathbb {R}\right)$. Т.е.

\[ \mathbb {P}\left(\xi \in B_1, \eta \in B_2\right) = \mathbb {P}\left(\xi \in B_1\right) \cdot \mathbb {P}\left(\eta \in B_2\right), \qquad \forall \; B_1, B_2 \in \mathscr {B}\left(\mathbb {R}\right) \]

Пример 1

Для двух независимых случайных величин $\xi \sim \operatorname {Pois}(\lambda )$ и $\eta \sim \operatorname {Pois}(\theta )$ найдите распределение величины $\xi +\eta$.

Примечание. Запись $\xi \sim \operatorname {Pois}(\lambda )$ обозначает, что $\xi$ распределена по пуассоновскому закону: $\mathbf{P}_{\xi } = \operatorname {Pois}(\lambda )$.

Решение

Носитель $\xi$, $\eta$ (т.е. носитель их распределений) – это множество $\mathbb {Z}_{+}$. Значит и их сумма с вероятностью $1$ будет принимать значения в $\mathbb {Z}_{+}$: $\operatorname {supp}(\xi + \eta ) \subseteq \mathbb {Z}_+$¹. Чтобы решить задачу, достаточно найти функцию масс для $\xi + \eta$. Для произвольного $k \in \mathbb {Z}_+$ имеем \[ \mathbf{P}_{\xi + \eta }\left(\left\{ k\right\} \right) = \mathbb {P}\left(\xi + \eta = k\right) = \sum _{i=0}^{k} \mathbb {P}\left(\xi = i, \; \eta = k-i\right) \] Воспользуемся независимостью $\xi$, $\eta$, получим \[ \begin{align} \mathbb {P}\left(\xi = i, \; \eta = k-i\right) & = \mathbb {P}\left(\xi \in \left\{ i\right\} , \; \eta \in \left\{ k-i\right\} \right) = \mathbb {P}\left(\xi = i\right) \cdot \mathbb {P}\left(\eta = k-i\right) = e^{-(\lambda + \theta )} \cdot \frac{\lambda ^{i}}{i!} \cdot \frac{\theta ^{k-i}}{(k-i)!} = \\ & = e^{-(\lambda + \theta )} \cdot \frac{1}{k!} \cdot C_{k}^{i} \cdot \lambda ^{i} \cdot \theta ^{k-i} \end{align} \] Далее, используя бином Ньютона, получаем \[ \mathbf{P}_{\xi + \eta }\left(\left\{ k\right\} \right) = e^{-(\lambda + \theta )} \cdot \frac{1}{k!} \cdot \sum _{i=0}^{k} C_{k}^{i} \cdot \lambda ^{i} \cdot \theta ^{k-i} = e^{-(\lambda + \theta )} \cdot \frac{1}{k!} \cdot (\lambda + \theta )^{k} \]

Ответ

$\xi + \eta \sim \operatorname {Pois}(\lambda + \theta )$

В приведённом выше примере, как можно заметить, хотя речь шла о случайной величине, на самом деле объектом изучения было не само отображение $\Omega \to \mathbb {R}$, а его распределение вероятностей. В теории вероятностей так часто происходит: случайную величину и ее распределение используют взаимозаменяемо. Важно при этом все таки отличать их. Распределение случайной величины – это лишь одна из ее характеристик. Две абсолютно разные случайные величины (как функции) могут иметь одинаковое распределение.

Задача 1

Для двух независимых случайных величин $\xi \sim \operatorname {Bin}(n, p)$ и $\eta \sim \operatorname {Bin}(m, p)$ найдите распределение величины $\xi +\eta$.

3 От распределения к случайной величине

Как мы выяснили, любая случайная величина имеет распределение, т. е. порождает вероятностную меру на $(\mathbb {R}, \mathcal{B}(\mathbb {R}))$. В реальных задачах, однако, зачастую вообще не упоминают исходное вероятностное пространство $(\Omega , \mathcal{F}, \mathbb {P})$, а просто говорят о некоторой случайной величине с заданным распределением $\mathbf{P}$.

Возникает вопрос: а существует ли в принципе такая случайная величина? Можно ли построить $(\Omega , \mathcal{F}, \mathbb {P})$ и измеримое отображение $X \colon \Omega \to \mathbb {R}$ так, чтобы $\mathbf{P} = \mathbf{P}_{X}$? Ответ на этот вопрос утвердительный. Вот стандартная конструкция:

\[ (\Omega , \mathcal{F}, \mathbb {P}) := (\mathbb {R}, \mathcal{B}(\mathbb {R}), \mathbf{P}), \qquad X(\omega ) := \omega \qquad \text{(т.е. $X = \operatorname {Id}$)}. \]

Ее можно несколько упростить, если брать вместо $\mathbb {R}$ только лишь носитель распределения $\mathbf{P}$:

\[ \Omega := \operatorname {supp}\mathbf{P}, \qquad \mathcal{F} := \left\{ B \cap \operatorname {supp}\mathbf{P}, \; B \in \mathscr {B}\left(\mathbb {R}\right)\right\} , \qquad \mathbb {P} := \mathbf{P}|_{\operatorname {supp}\mathbf{P}} \]

Пример 2

Докажите существование случайной величины с распределением Пуассона с параметром $\lambda > 0$.
Докажите существование двух независимых пуассоновских случайных величин с параметрами $\lambda_1, \lambda_2 \in (0,+\infty )$.

Решение

(1)

Пусть $\Omega = \mathbb {Z}_+$, $\mathcal{F} = 2^{\mathbb {Z}_+}$, $\mathbb {P} = \operatorname {Pois}(\lambda )$, $X = \operatorname {Id}$.

(2)

Пусть $\Omega = \mathbb {Z}_+ \times \mathbb {Z}_+$, $\mathcal{F} = 2^{\Omega }$. Далее, для произвольного $\omega = (k_1, k_2) \in \mathbb {Z}_+ \times \mathbb {Z}_+$ пусть

\[ \mathbb {P}\left(\left\{ \omega \right\} \right) := \frac{\lambda _1^{k_1}}{k_1!}e^{-\lambda _1} \cdot \frac{\lambda _2^{k_2}}{k_2!}e^{-\lambda _2} \]

Пусть $X := \operatorname {Id}$. Имеем $X: \Omega \to \mathbb {Z}_+ \times \mathbb {Z}_+$, т.е. у $X$ две координатные функции: $X = (X_1, X_2)$. Вот $X_1, X_2$ и будут независимыми Пуассоновскими с параметрами $\lambda_1$, $\lambda_2$ (проверьте сами).

4 Функция распределения

Определение 3 Пусть $\mathbf{P}$ – распределение на $(\mathbb {R}, \mathscr {B}\left(\mathbb {R}\right))$. Функция

\[ F_{\mathbf{P}}(x) := \mathbf{P}\left((-\infty , x]\right), \quad x \in \mathbb {R} \]

называется функцией распределения вероятностной меры $\mathbf{P}$.

Если $\xi$ – это случайная величина, то функцией распределения $\xi$ называется функция

\[ F_{\xi }(x) := F_{\mathbf{P}_{\xi }}(x) = \mathbb {P}\left(\xi \in (-\infty , x]\right) = \mathbb {P}\left(\xi \leq x\right), \quad x \in \mathbb {R} \]

Отметим свойства функции распределения.

$F(x)$ – неубывающая функция;
$\lim_{x \rightarrow -\infty } F(x)=0$, $\lim_{x \rightarrow +\infty } F(x)=1$;
$F(x)$ непрерывна справа и имеет пределы слева в каждой точке $x \in \mathbb {R}$.

Прежде чем идти дальше, взглянем на графики функций распределения для дискретных распределений, введённых в предыдущем разделе – на них хорошо видны все три перечисленных свойства (в частности, скачки в точках носителя и то, что закрашенная точка – всегда правый конец скачка).

Функции распределения шести дискретных распределений из предыдущего раздела. Открытый кружок ○ — значение, которое не достигается (предел слева); закрашенный кружок ● — значение, которое достигается в этой точке (в силу непрерывности справа). У пуассоновского и геометрического распределений показаны только первые несколько скачков — дальше функция распределения продолжает по мелким шагам приближаться к 1, но никогда не становится равной 1 на конечном расстоянии (носитель бесконечен).

Оказывается, для задания распределения вероятностей достаточно задать вероятностную меру лишь на множествах $(-\infty , x]$ для всех действительных $x$.

Теорема 1 Пусть $F=F(x)$ – функция на числовой прямой $\mathbb {R}$, удовлетворяющая свойствам 1 - 3. Тогда на $(\mathbb {R}, \mathscr {B}\left(\mathbb {R}\right))$ существует, и притом единственное, распределение вероятностей $\mathbf{P}$ такое, что $F$ – соответствующая этому распределению функция распределения.

Эта теорема оправдывает введение следующего понятия: всякая функция $F$, удовлетворяющая условиям 1) - 3), называется функцией распределения на числовой прямой $\mathbb {R}$.

функция распределения однозначно задаёт распределениеcdf-defines-distrib Теорема выше – это чистая теория меры, и её долг будет возвращён полностью. Существование меры по функции $F$ – это теорема Каратеодори о продолжении (глава о внешней мере и теореме Каратеодори), применённая к функции множеств $(a,b] \mapsto F(b)-F(a)$; единственность – теорема о единственности продолжения с $\pi$-системы (там же). Итоговая конструкция называется мерой Лебега–Стилтьеса (глава о мере Лебега).

Пример 3

Пусть $F(x)$ – функция распределения на числовой прямой, соответствующая распределению вероятностей $\mathbf{P}$. Доказать равенство $\mathbf{P}\left((a, b]\right) = F(b) - F(a)$ для любых $-\infty <a<b<\infty$.

Решение

В силу определения вероятностной меры \[ \mathbf{P}\left((-\infty , a]\right) + \mathbf{P}\left((a, b]\right) = \mathbf{P}\left((-\infty , b]\right) \] В соответствии с определением функции распределения выполнено $F(a)+ \mathbf{P}\left((a, b]\right) = F(b)$. Окончательно получаем $\mathbf{P}\left((a, b]\right) = F(b) - F(a)$.

Приведем простейшие примеры функций распределения.

Пусть

\[ F(x)= \begin{cases} 0, & x<0 \\ x, & 0 \leq x \leq 1 \\ 1, & x>1\end{cases} \]

В этом случае соответствующее распределение вероятностей $\lambda$ называют мерой Лебега на отрезке $[0,1]$. Ясно, что для любых $a<b \in [0,1]$ выполнено

\[ \lambda ((a, b))=\lambda ([a, b))=\lambda ((a, b])=\lambda ([a, b])=b-a \]
Пусть

\[ F(x)= \begin{cases} 0, & x<c \\ 1, & x \geq c\end{cases} \]

Соответствующее распределение вероятностей:

\[ \mathbf{P}\left(A\right) = \delta _c(A) = \begin{cases} 0, & c \notin A \\ 1, & c \in A\end{cases} \]

если $A \in \mathscr {B}\left(\mathbb {R}\right)$. Т.е. это распределение соответствует единичной массе, сосредоточенной в точке $c$. Такая вероятностная мера называется мерой Дирака (обозн.: $\delta_c$).

Задача 2

Для $\xi \sim \operatorname {Geom}(p)$ найдите функцию распределения $F_{\xi }(n)$. Найдите т.н. функцию выживания \[ S_{\xi }(n) = 1 - F_{\xi }(n) = \mathbb {P}\left(\xi > n\right), \] $n \geq 0$.

Задача 3

Для независимых случайных величин $X_{1}, \ldots , X_{n} \sim \operatorname {Geom}(p)$ найдите распределение величины $\min \left\{ X_{1}, \ldots , X_{n}\right\}$.

Задача 4

Для независимых случайных величин $X_{1}, \ldots , X_{n} \sim \operatorname {Geom}(p)$ найдите распределение величины $X_{1}+\ldots +X_{n}$.

5 Различные задачи

Пример 4

Пусть летает $n$ бабочек. Любитель бабочек Владимир поймал $X \sim \operatorname {Bin}(n, p)$ бабочек. Каждая пойманная бабочка оказывается красивой с вероятностью $\theta$ независимо от общего количества бабочек и от остальных бабочек. Пусть $Y$ — количество красивых бабочек среди пойманных. Найдите распределение величины $Y$.

Решение

Первый способ, идейный. Каждая бабочка может быть поймана с вероятностью $p$, и независимо от этого может быть красивой с вероятностью $\theta$. Т.е. она одновременно поймана и красива с вероятностью $p \theta$ (т.е. имеет распределение $\operatorname {Ber}(p \theta )$), независимо от других бабочек. $Y$ – это сумма пойманных и красивых. Сумма независимых биномиальных случайных величин с одним параметром $p \theta$ – это СВ, распределенная по $\operatorname {Bin}(n, p \theta )$.
Второй способ: расписываем в явном виде. Носитель $X$ – это множество $\{ 0,\ldots ,n\}$, значит у $Y$ тот же носитель (или меньше). Заметим, что если среди пойманных $k$ красивых ($Y = k$), то всего поймано не меньше $k$ (и не больше $n$ по условию, $k \leq X \leq n$). Т.е.

\[ \left\{ Y = k\right\} = \bigsqcup _{i=k}^{n} \left\{ Y=k, X = i\right\} \]

По формуле полной вероятности имеем

\[ \begin{align} \mathbb {P}\left(Y = k\right) & = \sum _{i = k}^{n}\mathbb {P}\left(Y = k, X= i\right) = \sum _{i = k}^{n}\mathbb {P}\left(Y = k \mid X= i\right) \cdot \mathbb {P}\left(X = i\right) = \\ & = \sum _{i=k}^{n} \binom {i}{k} \theta ^{k}(1-\theta )^{i-k} \cdot \binom {n}{i} p^{i} (1-p)^{n-i} = \\ & = \binom {n}{k} (p \theta )^k \sum _{i=k}^{n} \binom {n-k}{i-k} p^{i-k} (1-\theta )^{i-k} (1-p)^{n-i} \\ & = \binom {n}{k} (p \theta )^k \sum _{j=0}^{n-k} \binom {n-k}{j} [p(1-\theta )]^j (1-p)^{n-k-j} \\ & = \binom {n}{k} (p \theta )^k [p(1-\theta ) + (1-p)]^{n-k} \\ & = \binom {n}{k} (p \theta )^k (1 - p\theta )^{n-k} \end{align} \]

где мы сделали замену $j = i - k$ и воспользовались формулой бинома Ньютона.

Таким образом, $Y \sim \operatorname {Bin}(n, p\theta )$.

Ответ

$\operatorname {Bin}(n, p \theta )$

Задача 5

Некоторое насекомое откладывает $X \sim \operatorname {Pois}(\lambda )$ яиц. Из них вылупляется $Y$ потомков, причём вероятность развития насекомого из яйца равна $p$, и развитие насекомого из яйца не зависит ни от количества яиц, ни от развития других яиц. Найти распределение величины $Y$.

Задача 6

Ося и Киса решают задачи независимо друг от друга: Ося по ОВиТМу, а Киса по матанализу. Известно, что количество решённых Осей задач имеет распределение $\operatorname {Pois}(\lambda )$, а количество решённых Кисой задачей имеет распределение $\operatorname {Pois}(\theta )$. Найдите вероятность того, что Ося решил $k$ задач, если вместе они решили $n$ задач.

6 Матожидание для дискретного распределения

Математическое ожидание - это, неформально, среднее значение, которое принимает случайная величина. Так, среднее значение, выпадающее на игральной кости, равно $3.5$, и математическое ожидание случайной величины, равной значению, выпавшему на кости, также равно $3.5$.

Если случайная величина имеет дискретное распределение, то определение математического ожидание вводится естественным образом как взвешенная сумма значений случайной величины.

Определение 4 Математическим ожиданием случайной величины $\xi$, имеющей дискретное распределение, называется величина $\mathbb {E}\left[\xi \right]$, равная \[ \mathbb {E}\left[\xi \right] := \sum _{k \in \operatorname {supp}\xi } k \cdot \mathbb {P}\left(\xi =k\right), \]

Если множество $X$ бесконечное, то сумма в определении математического ожидания может быть бесконечной или вообще не существовать. В случае, когда сумма бесконечна, говорят, что математическое ожидание бесконечно. Если же сумма не существует, то и математического ожидания не существует.

Если $\varphi : \mathbb {R} \rightarrow \mathbb {R}$ – произвольная борелевская функция, то по определению $\mathbb {E}\left[\varphi (\xi )\right] = \sum_{k \in \varphi (X)} k \cdot \mathbb {P}\left(\varphi (\xi ) = k\right)$, где $\varphi (X)$ – это область значений преобразованной случайной величины $\varphi (\xi )$. На практике искать область значений $\varphi (\xi )$ и распределение $\varphi (\xi )$ часто достаточно сложно, вместо этого используется следующая формула:

\[ \mathbb {E}\left[\varphi (\xi )\right]=\sum _{x \in X} \varphi (x) \mathbb {P}\left(\xi =x\right) \]

где $X$- множество значений случайной величины $\xi$.

Пример 5

Вычислите $\mathbb {E}\left[\xi \right]$, $\mathbb {E}\left[\xi^2\right]$, $\mathbb {E}\left[e^{\xi }\right]$, если

$\xi \sim \operatorname {Bern}(p)$, $p \in (0,1)$. Т.е. $\mathbb {P}\left(\xi = 1\right) = 1 - \mathbb {P}\left(\xi = 0\right) = p$.
$\xi \sim \operatorname {Pois}(\lambda )$, $\lambda > 0$. Т.е. $\mathbb {P}\left(\xi = k\right) = \frac{\lambda^k}{k!}e^{-\lambda }$.

Решение

(1)

\[ \begin{align} \mathbb {E}\left[\xi \right] & = 0 \cdot \mathbb {P}\left(\xi = 0\right) + 1 \cdot \mathbb {P}\left(\xi = 1\right) = p \\ \mathbb {E}\left[\xi ^2\right] & = 0^2 \cdot \mathbb {P}\left(\xi = 0\right) + 1^2 \cdot \mathbb {P}\left(\xi = 1\right) = p \\ \mathbb {E}\left[e^\xi \right] & = e^0 \cdot \mathbb {P}\left(\xi = 0\right) + e^1 \cdot \mathbb {P}\left(\xi = 1\right) = (1 - p) + pe \end{align} \]

(2)

\[ \begin{align} \mathbb {E}\left[\xi \right] & = \sum _{k=0}^{\infty } k \mathbb {P}\left(\xi =k\right)=\lambda e^{-\lambda } \sum _{k=1}^{\infty } \frac{\lambda ^{k-1}}{(k-1)!}=\lambda \\ \mathbb {E}\left[\xi ^2\right] & = \sum _{k=0}^{\infty } k^2 \mathbb {P}\left(\xi =k\right)= e^{-\lambda } \sum _{k=1}^{\infty } \quad \underbrace{k}_{(k-1) + 1} \frac{\lambda ^k}{(k-1)!} = e^{-\lambda } \cdot \left(\sum _{k=2}^{\infty } \frac{\lambda ^k}{(k-2)!} + \sum _{k=1}^{\infty } \frac{\lambda ^k}{(k-1)!}\right) = \\ & = e^{-\lambda } \cdot \left(\lambda ^2 e^{\lambda } + \lambda e^{\lambda }\right) = \lambda ^2 + \lambda \\ \mathbb {E}\left[e^\xi \right] & = \sum _{k=0}^{\infty } e^{k} \mathbb {P}\left(\xi =k\right) = e^{-\lambda } \sum _{k=0}^{\infty } \frac{(\lambda e)^k}{k!} = e^{-\lambda } \cdot e^{\lambda e} = e^{\lambda (e - 1)} \end{align} \]

Свойства:

Матожидание линейно:
- $\mathbb {E}\left[\alpha \cdot \xi \right] = \alpha \cdot \mathbb {E}\left[\xi \right]$, $\alpha \in \mathbb {R}$, $\xi$ – СВ.
- $\mathbb {E}\left[\xi + \eta \right] = \mathbb {E}\left[\xi \right] + \mathbb {E}\left[\eta \right]$ для любых случайных величин $\xi$, $\eta$ (при условии, что матожи существуют).
Если случайные величины независимы, то матожидание мультипликативно:

\[ \mathbb {E}\left[\xi \cdot \eta \right] = \mathbb {E}\left[\xi \right] \cdot \mathbb {E}\left[\eta \right] \]

Однако в общем случае, как правило, матожидание не мультипликативно: $\mathbb {E}\left[\xi \cdot \eta \right] \neq \mathbb {E}\left[\xi \right] \cdot \mathbb {E}\left[\eta \right]$. В частности, если $\xi$ имеет какое-то нетривиальное распределение (не распределение Дирака), то, например, $\mathbb {E}\left[\xi^2\right] \neq \left(\mathbb {E}\left[\xi \right]\right)^2$.

матожидание в общем случаеexpectation Мы определили матожидание только для дискретных распределений – как сумму ряда. Для произвольной случайной величины $\mathbb {E}\left[\xi \right]$ определяется как интеграл Лебега $\int_{\Omega } \xi \, d\mathbb {P}$, который мы построим в главе о построении интеграла Лебега. Там же (и в главе о его свойствах) будут честно, в полной общности, доказаны свойства, которыми мы пользуемся уже сейчас: линейность, мультипликативность для независимых, предельные переходы. В дискретном случае наше определение с общим совпадает, а линейность доказывается элементарно (перестановкой сумм) – проверьте.

7 Дисперсия

Разумеется, по одному известному среднему значению случайной величины сложно судить о eе распределении. Дополнительную информацию дает среднее квадратическое отклонение от математического ожидания, которое называют дисперсией.

Определение 5 Дисперсией случайной величины $\xi$ называется величина \[ \operatorname {Var}\left[\xi \right] = \mathbb {E}\left[(\xi - \mathbb {E}\left[\xi \right])^2\right] \]

В силу линейности матожидания для дисперсии есть удобная формула:

\[ \operatorname {Var}\left[\xi \right] = \mathbb {E}\left[\xi ^2 - 2\xi \cdot \mathbb {E}\left[\xi \right] + \left(\mathbb {E}\left[\xi \right]\right)^2\right] = \mathbb {E}\left[\xi ^2\right] - 2 \cdot \mathbb {E}\left[\xi \right] \cdot \mathbb {E}\left[\xi \right] + \left(\mathbb {E}\left[\xi \right]\right)^2 = \mathbb {E}\left[\xi ^2\right] - \left(\mathbb {E}\left[\xi \right]\right)^2 \]

Пример 6

Случайная величина $\xi$ имеет пуассоновское распределение с параметром $\lambda$. Найдите $\operatorname {Var}\left[\xi \right]$.

Решение

Мы выше уже получали $\mathbb {E}\left[\xi \right] = \lambda$, $\mathbb {E}\left[\xi^2\right] = \lambda^2 + \lambda$. Следовательно \[ \operatorname {Var}\left[\xi \right] = \mathbb {E}\left[\xi ^2\right] - \left(\mathbb {E}\left[\xi \right]\right)^2 = \lambda ^2 + \lambda - \lambda ^2 = \lambda \]

Пример 7

Пусть $R_n = \left\{ 1, \ldots , n\right\}$. Случайная величина $\xi$ равна количеству элементов $R_{n}$, остающихся на своих местах при случайной перестановке. Найдите $\mathbb {E}\left[\xi \right]$ и $\operatorname {Var}\left[\xi \right]$.

Решение

Пусть для каждого $i \in \{ 1, \ldots , n\}$ случайная величина $\xi_{i}$ равна индикатору события $A_{i}$, которое заключается в том, что элемент $i$ остался на своем месте после случайной перестановки. Заметим, что $\xi_i \sim \operatorname {Ber}(p_i)$, где $p_i = \mathbb {P}\left(A_i\right)$. Имеем

\[ \xi =\xi _{1}+\ldots +\xi _{n} \]

Матожидание:

\[ \mathbb {E}\left[\xi _i\right] = \mathbb {P}\left(A_{i}\right)=\frac{(n-1)!}{n!}=\frac{1}{n} \]

В силу свойства линейности матожа получаем

\[ \mathbb {E}\left[\xi \right]=\mathbb {E}\left[\xi \right]_{1}+\ldots +\mathbb {E}\left[\xi \right]_{n}=1 \]

Дисперсия:

\[ \begin{align} \operatorname {Var}\left[\xi \right] & = \mathbb {E}\left[\xi \right]^{2}-(\mathbb {E}\left[\xi \right])^{2} = \mathbb {E}\left[\left(\xi _{1}+\ldots +\xi _{n}\right)^2\right] - 1 = \\ & = \sum _{i, j=1}^{n} \mathbb {E}\left[\xi _{i} \xi _j\right] - 1 =\sum _{i=1}^{n} \mathbb {E}\left[\xi _{i}^2\right]+2 \sum _{1 \leq i<j \leq n} \mathbb {E}\left[\xi _{i} \xi _{j}\right]-1= \\ & =\sum _{i=1}^{n} \mathbb {E}\left[\xi _{i}\right]+n(n-1) \mathbb {E}\left[\xi _{1} \xi _{2}\right]-1=1+n(n-1) \frac{(n-2)!}{n!}-1= \\ & = 1 \end{align} \]

Задача 7

Шестигранный кубик подбрасывается независимо $n$ раз. Случайная величина $\xi$ равна количеству выпавших единиц, а $\eta$ — сумме выпавших очков. Найдите математические ожидания этих величин.

Задача 8

Случайная величина $\xi$ имеет дискретное распределение на $\mathbb {N}$, \[ \mathbf{P}\left(\left\{ k\right\} \right) = \frac{C}{k(k+1)} \qquad \text{ для } \quad k \in \mathbb {N} \] Найдите константу $C \in \mathbb {R}$. Найдите для получившегося распределения математическое ожидание.

Сноски

Запись $\operatorname {supp}(\xi + \eta )$ обозначает носитель распределения $\xi + \eta$, т.е. $\operatorname {supp}(\xi + \eta ) = \operatorname {supp}\mathbf{P}_{\xi + \eta }$.↩︎