Этот конспект ещё находится в процессе редактуры: в тексте могут встречаться опечатки, неточности и локально не проработанные места. Если что-то нашли — сообщите, пожалуйста, автору (контакты на странице курса).
1 Введение
Мартингалы – это случайные процессы, родившиеся из изучения различных стратегий игры на ставках. Предположим, что игра состоит из одинаковых последовательных раундов (конов), причем игра честная, т.е. матожидание выигрыша на каждом кону равно \(0\). Формализуем: пусть \(\xi_1, \xi_2, \ldots\) – это случайные величины, где \(\xi_n\) – выигрыш на \(n\)-м кону игры в расчете на ставку в \(1\) У.Е., причем \(\mathbb {E}\left[\xi_i\right] = 0\) (игра честная). Например, если игра состоит в подкидывании монетки, и выпадение орла означает выигрыш, а выпадение решки – проигрыш, то \(\xi_i \sim \frac{1}{2}\delta_{-1} + \frac{1}{2}\delta_1\), т.е. \(\mathbb {P}\left(\xi_i = \pm 1\right) = \frac{1}{2}\). Пусть
\[
S_{n} = \xi _1 + \xi _2 + \ldots + \xi _n
\]
\(S_{n}\) – это хорошо нам знакомое случайное блуждание, но в данном случае этот процесс можно интерпретировать как капитал игрока после \(n\) раундов игры, начавшего с нулем в кармане, и делающего каждый кон ставку в \(1\) У.Е.
Пусть \(\mathcal{F}_{n} = \sigma (\xi_1, \ldots ,\xi_n)\) – естественная фильтрация для данного эксперимента. Предположим, что игрок каждый раз будет ставить не \(1\) У.Е., а некоторую случайную ставку \(C_n\). При реалистичном сценарии эта ставка может зависеть только от прошлого игры: для каждого \(n \in \mathbb {N}\) случайная величина \(C_n\) должна быть \(\mathcal{F}_{n-1}\)-измеримой. Процесс \((C_n, n\in \mathbb {N})\) называют предсказуемым относительно фильтрации \((\mathcal{F}_n, n \in \mathbb {Z}_+)\). Тогда приращение капитала на \(n\)-м коне определяется
Предположим для простоты, что игрок начинает с нулевым капиталом, \(X_0 = 0\) (игрок может занимать деньги у казино в долг для ставки, а также может ставить отрицательные суммы, т.е. ставить на проигрыш). Тогда
– это процесс развития капитала игрока (уже применяющего какую-то сложную стратегию ставок \(C_n, n \in \mathbb {N}\)). Этот процесс еще называют дискретным стохастическим интегралом или мартингальным преобразованием процесса \(S_n\) по (предсказуемому) процессу \(C_n\).
Что можно сказать про процесс \(X_n = \left(C \bullet S\right)_n\)? Будет ли он марковским, например? Нет, не всегда (только если \(C_n\) зависит исключительно от \(\xi_{n-1}\)), подробности см. ниже. Однако он обладает интересным свойством:
Процесс не просто сохраняет своё среднее значение, а обладает куда более сильным свойством: наилучший прогноз значения \(X_{n+1}\), сделанный на основе всей доступной к моменту \(n\) информации, есть в точности текущее значение \(X_n\).
Иными словами, если мы знаем всю историю процесса вплоть до момента \(n\), то ожидать на следующем шаге нам нечего — ни роста, ни падения: процесс <<в среднем стоит на месте>>. Формально:
Это свойство называется свойством честной игры: как бы ни складывалась история, в среднем процесс не выигрывает и не проигрывает на следующем шаге. Процесс, обладающий таким свойством, носит специальное название — мартингал.
Кстати, само слово «мартингал» пришло из азартных игр: так называлась стратегия удвоения ставок после каждого проигрыша. Она изображена на схеме ниже и хорошо иллюстрирует смысл доказанного выше: никакая предсказуемая стратегия ставок не превращает честную игру в выгодную.
«Мартингальная» стратегия ставок в честной игре: начать с \(1\) у.е., после каждого проигрыша удваивать ставку, после первого выигрыша остановиться с итогом \(+1\). При неограниченном капитале выигрыш гарантирован (\(\mathbb{P}\left(\text{рано или поздно выиграть}\right) = 1\)), но обмануть мартингальность капитала \(X_n\) нельзя: \(\mathbb{E}\left[X_n\right] = 0\) при всех \(n\). Ниже — симулятор с реалистичным ограничением капитала (казино останавливает игру после \(L\) проигрышей подряд). Двигайте ползунок \(L\) и нажимайте «Играть серию»: счётчик среднего итога копится по всем сыгранным сериям и при небольшом \(L\) заметно проседает ниже \(+1\) — редкая, но огромная потеря от разорения в точности компенсирует частые маленькие выигрыши.
Серий сыграно: 0Средний итог: —
2 Общая информация
Определение 1 Пусть \(T \subset \mathbb {R}\). Действительнозначный процесс \(\left(X_{t}, t \in T\right)\) называется \(L^p\)-процессом или \(p\)-интегрируемым процессом, если \(\forall t \in T: \; X_t \in L^p\). Т.е.
\(L^1\)-процессы зачастую просто называют интегрируемыми процессами.
Определение 2 Пусть \(T \subset \mathbb {R}\). Действительнозначный процесс \(\left(X_{t}, t \in T\right)\), согласованный с фильтрацией \(\mathbb {F}=\left(\mathcal{F}_{t}, t \in T\right)\), называется мартингалом относительно фильтрации \(\mathbb {F}\), если он интегрируем и
\[
\mathbb {E}\left[X_{t} \mid \mathcal{F}_{s}\right] \stackrel{\text{п.н.}}{=} X_{s}, \qquad \forall t \geq s
\]
Если вместо равенства выполнено (более слабое условие) нестрогое неравенство
\[
\mathbb {E}\left[X_{t} \mid \mathcal{F}_{s}\right] \stackrel{\text{п.н.}}{\geq } X_{s} \qquad \forall t \geq s
\]
то процесс \(X_{t}\) называется субмартингалом относительно \(\mathbb {F}\). Если
\[
\mathbb {E}\left[X_{t} \mid \mathcal{F}_{s}\right] \stackrel{\text{п.н.}}{\leq } X_{s} \qquad \forall s \leq t
\]
то процесс называется супермартингалом.
Мартингалами (субмартингалами, супермартингалами) без указания фильтрации будем называть мартингалы относительно их естественной фильтрации.
ExampleПример 1
Покажите, что в случае дискретного времени свойство из определения Определение 2 достаточно проверять только для соседних моментов времени. А именно, докажите, что \(L^{1}\)-процесс \(\left(X_{n}, n \in \mathbb {Z}_{+}\right)\), согласованный с фильтрацией \(\mathbb {F}=\left(\mathcal{F}_{n}, n \in \mathbb {Z}_{+}\right)\), является мартингалом относительно \(\mathbb {F}\) тогда и только тогда, когда \(\forall n \; X_{n-1} = \mathbb {E}\left[X_{n} \mid \mathcal{F}_{n-1}\right]\) (п.н.).
SolutionРешение
В прямую сторону все очевидно. Пусть \(n>k\), тогда, используя свойства условного математического ожидания, получаем, что \[
\begin{align} \mathbb {E}\left[X_n \mid \mathcal{F}_k\right] & \stackrel{\text{п.н.}}{=} \mathbb {E}\left[\mathbb {E}\left[X_{n} \mid \mathcal{F}_{n-1}\right] \mid \mathcal{F}_k\right] \stackrel{\text{п.н.}}{=} \\ & \stackrel{\text{п.н.}}{=} \mathbb {E}\left[X_{n-1} \mid \mathcal{F}_k\right] \stackrel{\text{п.н.}}{=} \\ & \stackrel{\text{п.н.}}{=} \ldots \stackrel{\text{п.н.}}{=} \\ & \stackrel{\text{п.н.}}{=} \mathbb {E}\left[X_{k+1} \mid \mathcal{F}_k\right] \stackrel{\text{п.н.}}{=} X_k \end{align}
\]
Субмартингалы и супермартингалы – это мартингалы «наполовину». Как запомнить отличие субмартингала от супермартингала? У субмартингала матожидание (нестрого) возрастает, у супермартингала – (нестрого) убывает.
Теорема 1 (Критерий мартингальности для процессов с независимыми приращениями) Пусть \(\left(X_{t}, t \in T\right)\) – \(L^{1}\)-процесс, согласованный с фильтрацией \(\mathbb {F} = \left(\mathcal{F}_t, \; t \in T\right)\), и имеющий независимые приращения относительно этой фильтрации, т.е. \[
X_t - X_s \quad \text{ и } \quad \mathcal{F}_s \quad \text{независимы} \qquad \forall t \geq s
\] Тогда \[
(X_{t}, \mathcal{F}_t) \text{ -- мартингал} \quad \iff \quad \mathbb {E}\left[X_t\right] = \operatorname {const}
\]
Несложно проверить, что если функция среднего не убывает, то процесс с независимыми приращениями является субмартингалом. Если же она не возрастает, то – супермартингалом.
Теорема Теорема 1 сразу дает нам несколько хороших примеров мартингалов.
Винеровский процесс \(\left(W_{t}, t \geqslant 0\right)-\) мартингал.
Заметим, что этот (мультипликативный) пример уже не следует из теоремы Теорема 1: приращения \(S_n - S_{n-1} = (\xi_n - 1)\, \xi_1 \cdots \xi_{n-1}\) не являются независимыми от прошлого. Мартингальность проверяется прямым вычислением: \(\mathbb {E}\left[S_n \mid \mathcal{F}_{n-1}\right] = S_{n-1} \mathbb {E}\left[\xi_n\right]\).
ExampleПример 2
Докажите, что если \((X_t, t \in T)\) – мартингал относительно фильтрации \((\mathcal{F}_t, t \in T)\), то он является мартингалом относительно своей собственной фильтрации.
SolutionРешение
Известно, что \(\mathbb {E}\left[X_t \mid \mathcal{F}_{s}\right] \stackrel{\text{п.н.}}{=} X_s\). Навесим условное матожидание по \(\mathcal{F}^{X}_s\) на левую и правую части: \[
\begin{align} \mathbb {E}\left[\mathbb {E}\left[X_t \mid \mathcal{F}_{s}\right] \mid \mathcal{F}^{X}_{s}\right] & \stackrel{\text{п.н.}}{=} \mathbb {E}\left[X_t \mid \mathcal{F}^X_{s}\right] & & \text{(по "башенному" св-ву усл. матожа, т.к. $\mathcal{F}^{X}_s \subseteq \mathcal{F}_s$)} \\ \mathbb {E}\left[X_s \mid \mathcal{F}^X_{s}\right] & \stackrel{\text{п.н.}}{=} X_{s} & & \text{(поскольку $X_{s}$ явл. $\mathcal{F}^X_s$-изм.)} \end{align}
\] В итоге имеем \(\mathbb {E}\left[X_t \mid \mathcal{F}^X_{s}\right] \stackrel{\text{п.н.}}{=} X_s\)
ExampleПример 3
Докажите, что у мартингала функция среднего постоянна. Докажите, что у субмартингала функция среднего нестрого возрастающая.
SolutionРешение
Пусть \(s \leq t\). Для мартингала по свойству повторного матожидания \[
\mathbb {E}\left[X_t\right] = \mathbb {E}\left[\mathbb {E}\left[X_t \mid \mathcal{F}_s\right]\right] = \mathbb {E}\left[X_s\right]
\] Для субмартингала аналогично: взяв матожидание от обеих частей неравенства \(\mathbb {E}\left[X_t \mid \mathcal{F}_s\right] \overset {\text{п.н.}}{\geq } X_s\), получаем \(\mathbb {E}\left[X_t\right] \geq \mathbb {E}\left[X_s\right]\).
ProblemЗадача 1
Пусть \(\left(W_{t}, t \geq 0\right)\) – винеровский процесс. Найдите все такие пары \((\alpha , \beta ) \in \mathbb {R}^{2}\), что процесс \[
X_{t}=\mathrm{exp}\left(\alpha W_{t}+\beta t\right), \quad t \geq 0
\] является мартингалом относительно естественной фильтрации процесса \(W_{t}\).
ProblemЗадача 2
Пусть \(\xi\) – интегрируемая случайная величина: \(\mathbb {E}\left[\left|\xi \right|\right] < +\infty\). Пусть \(\mathbb {F}=\left(\mathcal{F}_{t}, t \in T\right)\), \(T \subset \mathbb {R}\) – произвольная фильтрация. Докажите, что процесс \[
X_{t} := \mathbb {E}\left[\xi \mid \mathcal{F}_{t}\right]
\] является мартингалом относительно \(\mathbb {F}\).
Примечание. Такие мартингалы называют мартингалами Леви, мартингалами Дуба, замкнутыми мартингалами. Чуть позже мы докажем, что многие мартингалы на самом деле являются мартингалами Леви.
ExampleПример 4
Пусть \(\left(X_{t}, t \in T\right)\) – мартингал относительно \(\mathbb {F}=\left(\mathcal{F}_{t}, t \in T\right)\), а \(h(x)\) – такая выпуклая вниз функция, что \(\mathbb {E}\left[\left|h(X_t)\right|\right] < +\infty\). Докажите, что процесс \[
Y_{t}=h\left(X_{t}\right)
\] является субмартингалом относительно \(\mathbb {F}\).
SolutionРешение
Заметим, что функция \(h\) является борелевской, раз она выпуклая. Интегрируемость \(Y_t\) дана в условии, а согласованность \(Y_t = h(X_t)\) очевидна из согласованности процесса \(X_{t}\). Осталось проверить субмартингальное неравенство; для этого воспользуемся неравенством Йенсена для условного математического ожидания:
В случае, если пространство значений процесса – действительные числа, т.е. если \((\mathsf{S}, \mathscr {B}) = (\mathbb {R}, \mathscr {B}\left(\mathbb {R}\right))\), то определение марковского процесса и определение мартингала очень похожи. Попробуем понять, в чем между ними различия. Заметим, что согласованность с фильтрацией – общее условие.
Мартингал – это обязательно интегрируемый процесс, марковский же процесс может быть неинтегрируемым. Отсюда сразу можно получить пример марковского процесса, не явл. мартингалом: случайное блуждание с шагом, распределенным по закону распределения Коши.
В случае интегрируемости верна следующая теорема:
Теорема 2 Действительнозначный марковский процесс \((X_t, \mathcal{F}_t, t \in T), \; T \subset \mathbb {R}\) является мартингалом (относительно той же фильтрации \((\mathcal{F}_t)\)) тогда и только тогда, когда \((X_t)\) – интегрируемый процесс и выполнено \[
\mathbb {E}\left[X_t \mid X_s \right] = X_s
\tag{1}\] для \(s \leq t, \; s,t \in T\).
Чтобы для процесса \((X_t)\) было выполнено условие Уравнение 1, необходимо, чтобы у него была постоянной функция матожидания. Отсюда получаем 2-й пример марковского процесса, не явл. мартингалом: пуассоновский процесс.
Далее, даже если марковский процесс интегрируем и у него постоянна функция матожидания, это еще не гарантирует его мартингальности, что показывает следующая задача.
ExampleПример 5
Пусть \(X_0 \sim \frac{1}{2}(\delta_1 + \delta_{-1})\), т.е. \(\mathbb {P}\left(X_0 = -1\right) = \mathbb {P}\left(X_0 = 1\right) = \frac{1}{2}\). Пусть \[
X_n = \begin{cases} X_{n-1} + 1, & X_{n-1} > 0 \\ X_{n-1} - 1, & X_{n-1} < 0\end{cases}, \qquad n \in \mathbb {N}
\] Зарисуйте траектории \((X_n)\). Докажите, что \((X_n, n \in \mathbb {Z}_+)\) – интегрируемый марковский процесс с постоянной функцией матожидания, не являющийся мартингалом.
SolutionРешение
Интегрируемость и марковость очевидны, а \(\mathbb {E}\left[X_n\right] = 0\) по симметрии: \(X_n \sim \frac{1}{2}\left(\delta_{n+1} + \delta_{-(n+1)}\right)\). При этом \[
\mathbb {E}\left[X_n \mid \mathcal{F}_{n-1}\right] = X_{n-1} + \operatorname {sign}(X_{n-1}) \neq X_{n-1} \quad \text{п.н.},
\] так что \((X_n)\) – не мартингал: он «стоит на месте» лишь в безусловном среднем, но не в условном.
Единственно возможные (с точностью до знака) траектории процесса из примера: \(X_0 = \pm 1\) равновероятно, а дальше \(X_n = X_{n-1} + \operatorname{sign}(X_{n-1})\) — процесс детерминированно удаляется от нуля. Кнопка ниже перебрасывает монету заново (новое \(X_0\)), а ползунок \(n\) подсвечивает точку текущей траектории и показывает рядом с ней условный прогноз \(\mathbb{E}[X_{n+1}\mid\mathcal F_n]\): он в точности совпадает со следующей точкой траектории — «стоять на месте» не получается ни при каком \(n\), хотя безусловно \(\mathbb{E}[X_n]\equiv 0\).
X₀ = +1
ProblemЗадача 3
Если вещественный случайный процесс \(\xi_t\) является марковским, то таков и процесс \(f(\xi_t)\), где \(f\) — инъективное отображение. В частности, если \(W_t\) – винеровский, то \(W_t^3\) явл. марковским. Но покажите, что \(W_t^3\) не явл. мартингалом.
Привести пример мартингала, который бы не являлся марковским процессом, чуть сложнее:
ExampleПример 6
Пусть \(\left(X_{n}, n \geqslant 0\right)\)- независимые случайные величины с равномерным распределением на множестве \(\{ -1,0,1\}\). Рассмотрим процесс \[
Y_{n}= X_{0} X_{1}+X_{1} X_{2}+\ldots +X_{n-1} X_{n}
\] Докажите, что \(Y_{n}\) является мартингалом относительно фильтрации \[
\mathbb {F}=\left(\sigma \left(X_{0}, X_{1}, \ldots , X_{n}\right), n \in \mathbb {Z}_{+}\right),
\] но не является марковским процессом относительно нее.
SolutionРешение
\[
Y_n = \left(BX \bullet S\right)_n
\]
где \(S_n = X_1 + X_2 + \ldots + X_n\), \((Bf)(n) = f(n-1)\), где \(f: \mathbb {Z}_+ \to \mathbb {R}\) – произвольная функция. \(B\) – это сдвиг по времени, backward shift.
Не марковский: если бы \((Y_n)\) был марковским относительно \(\mathbb {F}\), то условная вероятность \(\mathbb {P}\left(Y_2 = 1 \mid \mathcal{F}_1\right)\) п.н. являлась бы функцией от \(Y_1\). Но на событии \(\left\{ X_1 = 0\right\}\) имеем \(Y_1 = 0\) и \(Y_2 = X_1\left(X_0 + X_2\right) = 0\), откуда
Оба события лежат в \(\mathcal{F}_1\) и имеют положительную вероятность, т.е. условное распределение \(Y_2\) относительно \(\mathcal{F}_1\) не определяется значением \(Y_1\).
4 Мартингалы в дискретном времени
В этом разделе \(T = \mathbb {Z}_+ = \left\{ 0,1,2,3,\ldots \right\}\).
4.1 Разложение Дуба-Мейера
Определение 3 Процесс \(\left(X_{n}, n \in \mathbb {N}\right)\) является предсказуемым относительно фильтрации \(\left(\mathcal{F}_{n}, n \in \mathbb {Z}_{+}\right)\), если \(X_{n}\) измерим относительно \(\mathcal{F}_{n-1}\) для всех \(n \in \mathbb {N}\).
Теорема 3 (Дуба о разложении) Пусть \(\left(X_{n}, n \in \mathbb {Z}_{+}\right)\) – это \(L^{1}\)-процесс, согласованный с фильтрацией \(\mathbb {F}=\left(\mathcal{F}_{n}, n \in \mathbb {Z}_{+}\right)\). Тогда существует единственное (с точностью до стох. эквивалентности в узком смысле) разложение вида \[
X_{n}=M_{n}+A_{n}, \quad n \in \mathbb {Z}_+
\] где \(M_{n}\) – это мартингал относительно \(\mathbb {F}\), \(A_{n}\) – предсказуемый процесс относительно \(\mathbb {F}\), и \(A_{0}=0\) п.н.
Заметим в связи с теоремой, что процесс \(\left(X_{n}, n \in \mathbb {Z}_{+}\right)\) является субмартингалом относительно \(\mathbb {F}\) тогда и только тогда, когда в его разложении Дуба последовательность \(A_{n}\) является п.н. неубывающей.
ProblemЗадача 4
Докажите теорему Дуба о разложении \(L^1\)-процесса в сумму мартингала и предсказуемого процесса.
Пусть \(\left(X_{n}, n \in \mathbb {Z}_{+}\right)\) – ветвящийся процесс Гальтона-Ватсона с законом размножения частиц \(\operatorname {Pois}(3)\). Найдите разложение Дуба-Мейера для данного процесса.
Разложение Дуба «в лицах»: для простого симметричного случайного блуждания \(S_n\) субмартингал \(X_n = S_n^2\) распадается в сумму мартингала \(M_n = S_n^2 - n\) и предсказуемого неубывающего компенсатора \(A_n = n\) — весь «систематический рост» субмартингала сосредоточен в компенсаторе. Ползунок \(\theta\) анимирует вычитание компенсатора: при \(\theta = 0\) показана \(X_n\), при \(\theta = 1\) — \(M_n = X_n - A_n\), промежуточные значения — \(X_n - \theta A_n\). Флажок показывает/скрывает саму \(A_n\), а кнопка перегенерирует случайное блуждание.
4.2 Сходимость мартингалов
Утверждения и задачи ниже сформулированы для дискретного времени, но они на самом деле верны и для непрерывного времени.
Теорема 4 (Для п.н. сходимости мартингала достаточно ограниченности в \(L^1\)) Пусть \(\left(X_{n}, n \in \mathbb {Z}_+\right)\) – субмартингал, такой, что \(\forall n \in \mathbb {Z}_+: \; \mathbb {E}\left[X_n^+\right] \leq M\) для некоторого \(M > 0\) (т.е. набор сл. величин \((X_n^+)_{n \in \mathbb {Z}_+}\) ограничен по норме пр-ва \(L^1\))1. В частности, это верно, если \(X_n\) просто ограничен в \(L^1\). Тогда существует СВ из \(L^1\), которую принято обозначать \(X_\infty\), такая что
Если, к тому же, \((X_n, n \in \mathbb {Z}_+)\) является равномерно интегрируемым, то \(X_n \xrightarrow [n \to \infty ]{L^1} X_\infty\).
Напомним, что набор случайных величин \((X_\alpha , \alpha \in A)\) называется равномерно интегрируемым, если найдется такая функция \(G: \mathbb {R}_+ \to \mathbb {R}_+\), которая растет быстрее линейной (т.е. \(\frac{G(x)}{x} \xrightarrow [x \to +\infty ]{} + \infty\)), что матожидания \(\mathbb {E}\left[G(\left|X_{\alpha }\right|)\right]\) равномерно (по \(\alpha\)) ограничены2. Например, ограниченности (по норме) в пространстве \(L^1\) недостаточно для равномерной интегрируемости, но ограниченности в пространстве \(L^p\) для произвольного \(p > 1\) уже достаточно.
Напомним несколько свойств равномерной интегрируемости (РИ):
\(X_t \xrightarrow [t\to \infty ]{L^1} X\) тогда и только тогда, когда \(X_t \xrightarrow [t\to \infty ]{\mathbb {P}} X\) и набор \((X_t, t \in \mathbb {R}_+)\) равномерно интегрируем.
Условные матожидания от интегрируемой случайной величины РИ. А именно, пусть \(X \in L^1 = L^1(\Omega , \mathcal{F}, \mathbb {P})\) и \(\mathcal{G}_\alpha \subset \mathcal{F}, \; \alpha \in A\) – некоторый набор сигма-подалгебр. Тогда набор \(\left(\mathbb {E}\left[X \mid \mathcal{G}_\alpha \right], \; \alpha \in A\right)\) – РИ.
Теорема 5 (\(L^p\)-сходимость мартингалов) Пусть \(p>1\) и пусть \(X_n\) – мартингал, ограниченный в пространстве \(L^p\). Тогда существует \(\mathcal{F}_\infty\)-измеримая случайная величина \(X_\infty \in L^p\), такая, что \(X_n \xrightarrow [n \to \infty ]{\text{п.н.}, L^p} X_\infty\).
ProblemЗадача 6
Пусть процесс \((X_t, \mathcal{F}_t, t \in \mathbb {R}_+)\) – мартингал Леви для \(Z \in L^1\), т.е. \(X_t = \mathbb {E}\left[Z \mid \mathcal{F}_t\right]\) п.н. \(\forall t \in \mathbb {R}_+\). Докажите, что тогда \((X_t)\) сходится п.н. и в \(L^1\) к некоторой СВ \(X_\infty\), причем \(X_\infty = \mathbb {E}\left[Z \mid \mathcal{F}_\infty \right]\) п.н., где \(\mathcal{F}_\infty = \sigma \left(\bigcup_{t \in \mathbb {R}_+} \mathcal{F}_t\right)\).
Докажите, что равномерно интегрируемый мартингал \((X_t, \mathcal{F}_t, t \in \mathbb {R}_+)\), сходящийся п.н. и в \(L^1\) к \(X_\infty\), является мартингалом Леви относительно \(X_\infty\).
Утверждения выше показывают, что РИ мартингалы и мартингалы Леви – это одно и то же. При этом такие процессы однозначно (с точностью до модификации, т.е. до соответствия п.н. в каждой точке \(t \in T\)) характеризуются своей фильтрацией и пределом \(X_\infty\).
ProblemЗадача 7
Пусть \(Z_1, Z_2, \ldots\) – независимые случайные величины, такие, что \[
Z_n =\begin{cases} a_n, & \text{с вероятностью } \frac{1}{2n^2} \\ 0, & 1 - \frac{1}{n^2} \\ -a_n, & \frac{1}{2n^2} \end{cases},
\] где последовательность \(a_n\) задается рекуррентно: \(a_1 = 2, \; a_n = 4\sum_{j=1}^{n-1} a_j\). Покажите, что \(Y_n := \sum_{j=1}^n Z_j\) – мартингал. Покажите, что у \((Y_n, n \in \mathbb {N})\) существует предел п.н., при этом не существует такого \(M > 0\), что \(\mathbb {E}\left[\left|Y_n\right|\right] \leq M, \; \forall n \in \mathbb {N}\).
Примечание. Задача показывает, что, вообще говоря, мартингал может сходиться п.н. и без выполнения условий теор. Теорема 4.
ProblemЗадача 8
Приведите пример неотрицательного мартингала \(X_n\), такого что \(\mathbb {E}\left[X_n\right] = 1\), при этом \(X_n \xrightarrow [n\to \infty ]{\text{п.н.}} 0\).
Неотрицательный мартингал \(X_n = \xi_1 \cdots \xi_n\), где \(\xi_i\) независимы и равновероятно принимают значения \(\frac12\) и \(\frac32\) (так что \(\mathbb{E}\left[\xi_i\right] = 1\)): \(12\) смоделированных траекторий. Почти все они вымирают (\(X_n \to 0\) п.н., поскольку \(\mathbb{E}\left[\ln \xi_i\right] < 0\)), хотя \(\mathbb{E}\left[X_n\right] = 1\) при всех \(n\) — сходимости в \(L^1\) нет, семейство не является равномерно интегрируемым. Кнопка перегенерирует пучок и одновременно досчитывает выборочное среднее \(X_{80}\) по гораздо большей (незримой) партии траекторий: счётчик копится по всем нажатиям и держится около \(1\) за счёт редких, но огромных выбросов среди вымирающих путей.
Траекторий в статистике: 0Выборочное среднее X₈₀: —
4.3 Произвольная остановка мартингала
Теорема 6 (optional stopping theorem, остановленный мартингал – тоже мартингал) Пусть \(\left(X_{n}, \mathcal{F}_n, n \in \mathbb {Z}_+\right)\) – субмартингал (мартингал). Пусть \(\tau\) – произвольный марковский момент относительно фильтрации \(\mathbb {F} = (\mathcal{F}_n, n \in \mathbb {Z}_+)\). В частности, \(\tau\) может быть равно \(\infty\) с ненулевой вероятностью. Тогда остановленный процесс\[
X^\tau _n := X_{\min (\tau , n)} = \begin{cases} X_n, & n < \tau \\ X_\tau , & n \geq \tau \end{cases}
\] также является субмартингалом (мартингалом соотв.) относит. \(\mathbb {F} = (\mathcal{F}_n, n \in \mathbb {Z}_+)\).
Остановленный процесс \(S^\tau_n = S_{\min(\tau, n)}\) для семи смоделированных траекторий простого симметричного блуждания, выпущенного из \(s_0 = 3\), где \(\tau\) — момент выхода из полосы \([a, b]\): достигнув границы, траектория «замирает» (точка). По теореме об остановленном мартингале \(S^\tau\) — по-прежнему мартингал: \(\mathbb{E}\left[S^\tau_n\right] = s_0\) при всех \(n\). Двигайте ползунки границ полосы и нажимайте «Перегенерировать»: счётчик выборочного среднего остановленного значения копится по всем сериям и держится около \(s_0 = 3\) независимо от ширины полосы.
Серий в статистике: 0Среднее Sτ: — (s₀ = 3)
4.4 Произвольное сэмплирование мартингала
Теорема 7 (об опциональном выборе, optional sampling theorem, иногда также называют теоремой об остановке) Пусть \((X_n, n \in \mathbb {Z}_+)\) – мартингал, пусть \(\sigma \leq \tau\) – два марковских момента со значениями в \(\mathbb {Z}_+ \cup \left\{ +\infty \right\}\), и пусть остановленный процесс \((X_n^\tau )\) равномерно интегрируем (на событии \(\left\{ \tau = +\infty \right\}\) полагаем \(X_\tau := \lim_{n\to \infty } X^\tau_n\); предел существует п.н. в силу равномерной интегрируемости). Тогда \[
\mathbb {E}\left[X_\tau \mid \mathcal{F}_\sigma \right] \stackrel{\text{п.н.}}{=} X_\sigma
\] и, в частности, \[
\mathbb {E}\left[X_\tau \right] = \mathbb {E}\left[X_\sigma \right] = \mathbb {E}\left[X_0\right]
\] Равномерная интегрируемость \((X_n^\tau )\), в свою очередь, выполнена при любом из следующих условий:
\(\tau \in L^\infty\), т.е. \(\tau\) п.н. ограничен: \(\exists M > 0: \; \mathbb {P}\left(\tau < M\right) = 1\). Имеем сильные ограничения на марковские моменты и никаких ограничений на мартингал.
\(\tau \in L^1\) и существует константа \(c > 0\), такая что
(условные приращения мартингала ограничены до момента \(\tau\)). В частности, это выполнено, если \(\left|X_n - X_{n-1}\right| \leq c\) п.н. для всех \(n\).
Имеем умеренные ограничения на марковские моменты и умеренные ограничения на мартингал.
\(\tau\) – произвольный, но процесс \((X_n)\) сам РИ. Имеем никаких ограничений на марковские моменты и сильные ограничения на мартингал.
Теорема об остановке означает, что среднее значение в случайные моменты времени у мартингала остается тем же, что и в неслучайные.
Следствие 1 Пусть \(S_n\) – это мартингал, причем \(S_n - S_{n-1}\) равномерно ограничены какой-то константой. Пусть \((C_n)\) – предсказуемый процесс, тоже равномерно ограниченный константой, и пусть \(\mathbb {E}\left[T\right]<\infty\) для некоторого момента остановки \(T\). Тогда \[
\mathbb {E}\left[\left(C \bullet S\right)_{T}\right] = 0
\]
ExampleПример 7
Приведите пример мартингала \((X_{n}, n \in \mathbb {Z}_+)\) и таких марковских моментов \(\tau , \sigma\) относительно его естественной фильтрации, что \(\mathbb {E}\left[X_{\tau }\right] \neq \mathbb {E}\left[X_{\sigma }\right]\).
HintПодсказка
Возьмите случайное блуждание.
SolutionРешение
Рассмотрим простейшее симметричное случайное блуждание на прямой \(\left(S_{n}, n \in \mathbb {Z}_{+}\right)\) и положим \(\tau =\min \left\{ n: S_{n}=\right.\)\(1\} , \sigma =\min \left\{ n: S_{n}=2\right\}\). Напомним, что \(\tau , \sigma < \infty\) п.н., т.е. это не просто марковские моменты, но моменты остановки. Далее, \(S_{n}\) – мартингал. Но \[
\mathbb {E}\left[S_\tau \right] = 1 < 2 = \mathbb {E}\left[S_\sigma \right]
\]
Следующую задачу мы уже решали комбинаторными методами, однако полезно решить ее мартингальными методами.
ExampleПример 8 - Задача о разорении игрока
Пусть \(a<{s_0}<b\) – целые числа, а \(S_{n} = {s_0} + \sum_{i=1}^{n} \xi_i, \; n \geqslant 0\), – простейшее случайное блуждание с вероятностью шага вправо \(p\), выпущенное из точки \(s_0\). Обозначим \(\tau = \min \left\{ n: S_{n} \in \left\{ a, b\right\} \right\}\) – момент выхода процесса \(S_{n}\) из полосы. Вычислите распределение \(S_\tau\) и \(\mathbb {E}\left[\tau \right]\) в случае \(p = \frac{1}{2}\) (т.е. в симметричном случае).
HintПодсказка
\(p = \frac{1}{2}\). Для вычисления \(\operatorname {Law}\left(S_\tau \right)\) необходимо рассматривать мартингал \(S_n\). Для вычисления \(\mathbb {E}\left[\tau \right]\) докажите, что \(M_n := S_n^2 - n\) – тоже мартингал. Далее для произвольного \(k \in \mathbb {N}\) возьмите МО \(\tau_k := \tau \wedge k \in L^\infty\) и примените к нему и к \(M_n\) теорему об опциональном выборе. Далее устремите \(k\) к \(+\infty\).
Решите мартингальным методом задачу о разорении игрока (см. предыдущий пример) для случая \(p \neq \frac{1}{2}\)
HintПодсказка
Для вычисления \(\operatorname {Law}\left(S_\tau \right)\) рассмотрите \(Y_n := \frac{1}{\theta^{S_n}}\), где \(\theta = \frac{p}{1-p}\). Докажите, что \(Y_n\) – мартингал.
Для вычисления \(\mathbb {E}\left[\tau \right]\) рассмотрите процесс \(Z_n = S_n - (2p-1)n\), докажите что \(Z_n\) – мартингал.
Задача о разорении игрока: вероятность дойти до \(b\) раньше, чем разориться до \(a = 0\), как функция стартового капитала \(s_0\): \(\mathbb{P}\left(S_\tau = b\right) = \dfrac{\varrho^{a} - \varrho^{s_0}}{\varrho^{a} - \varrho^{b}}\), где \(\varrho = q/p\) (при \(p = \frac12\) это выражение — предел \(\varrho \to 1\), вырождающийся в линейную функцию \(s_0/b\)). Двигайте ползунок \(p\), чтобы увидеть, как кривая деформируется из прямой линии в «обрыв» экспоненты — уже небольшой перекос вероятности шага делает победу при малом капитале почти невозможной, — и ползунок \(b\), чтобы менять ширину полосы.
ExampleПример 9 - Мартышка печатает АБРАКАДАБРА
Пусть в моменты времени \(1,2,3, \ldots\) обезьянка случайным образом набирает заглавную букву, причем последовательность набранных букв образует независимую и одинаково распределенную последовательность случайных величин, каждая из которых выбирается равномерно из 33 возможных заглавных букв.
Пусть \(T = T_{\text{Ж}}\) – это первый момент, когда обезьянка напечатала букву Ж. Докажите, что \(T\) п.н. конечно и найдите \(\mathbb {E}\left[T\right]\);
Пусть \(T = T_{\text{АБРАКАДАБРА}}\) – это первый момент, когда обезьянка напечатала последовательность букв АБРАКАДАБРА. Докажите, что \(T\) п.н. конечно и найдите \(\mathbb {E}\left[T\right]\).
SolutionРешение
Пусть \(A_1, A_{2}, \ldots\) – это буквы, которые печатает обезьянка.
Enum-item(1)
Пусть \(\xi_i = \; \mathbb {1}_{\text{Ж}}(A_i)\). Тогда \(\xi_1, \xi_2 ,\ldots\) – это НОРСВ, распределенные как \(\operatorname {Ber}(1/33)\).
\(T\) – это момент первого написания АБРАКАДАБРА, а \(T'\) – это номер первого блока из \(11\) подряд идущих букв (блоки не пересекаются), в котором целиком написано АБРАКАДАБРА; такой блок заканчивается на шаге \(11(T'+1)\). Первое (вообще) написание могло произойти и раньше, значит \(T \leq 11(T' + 1)\). При этом \(T' + 1 \sim \operatorname {Geom}\left((1/33)^{11}\right)\), т.е. \(T' \in L^1\). Следовательно, \(T \in L^1\), у нее конечное матожидание. Однако как найти точное значение этого матожидания?
Организуем рядом с обезьянкой казино! В нашем казино только одна игра: можно сделать ставку на очередную букву, которую напечатает обезьянка. Причем пусть казино будет честным: коэффициент на победу \(33\). В таком случае матожидание результата игры как раз получается равным \(0\).
Пусть непосредственно перед каждым моментом времени \(n=1,2, \ldots\) появляется новый игрок. Он ставит \(1\) рубль на то, что \(n\)-я буква будет А. Если он проигрывает, он уходит. Если он выигрывает, он получает \(33\) рубля, все из которых он ставит на то, что \((n+1)\)-я буква будет Б. Если он проигрывает, он уходит. Если он выигрывает, он ставит всё своё состояние в размере \(33^{2}\) на то, что буква \((n+2)\)-я будет Р, и так далее по последовательности АБРАКАДАБРА.
Пусть \(X_n\) – это совокупный капитал всех игроков на момент \(n\) (считаем, что \(X_0 = 0\)). Предположим, мы докажем, что \(X_n\) – это мартингал, и что существует константа \(C > 0\), что \(\left|X_n - X_{n-1}\right| < C\) п.н. для всех \(n\). Тогда по теореме об опциональном выборе получаем \(0 = \mathbb {E}\left[X_0\right] = \mathbb {E}\left[X_{T}\right]\). Как найти \(X_T\)? В каждый момент времени приходит новый игрок, причем он расходует на игру ровно \(1\) рубль, независимо от того, играет ли он до сих пор (т.е. выиграл во всех раундах, в которых играл) или уже не играет. Значит, совокупные расходы игроков к моменту \(T\) равны как раз \(T\). При этом как определить доходы? Доход имеют только те, кто все еще находится в игре на момент \(T\) (все остальные проиграли по рублю). Это 3 человека:
игрок, который пришел на шаге \(T - 1\), и назвал, соотв., А. Его доход равен \(33\);
игрок, который пришел на шаге \(T - 4\), и угадал, соотв., АБРА. Его доход равен \(33^4\);
игрок, который пришел на шаге \(T - 11\), и угадал, соотв., все слово АБРАКАДАБРА. Его доход равен \(33^{11}\);
Другие игроки уже проиграли. К примеру, игрок, зашедший в раунде \(T - 6\). Он правильно угадал первую А. Но затем он назвал букву Б, а обезъянка напечатала Д.
В итоге имеем \(X_T = 33^{11} + 33^4 + 33 - T\), \(\mathbb {E}\left[X_T\right] = 0\) и
Пусть \(C_{n}^{j}\) — ставка \(j\)-го игрока в момент времени \(n\).
\[
C_{n}^{j}= \begin{cases} 0 & \text{ если } n<j \\ 1 & \text{ если } n=j \\ 33^{k} & \text{ если } A_{j}, \ldots , A_{j+k-1} \text{ были верны и } n=j+k \\ 0 & \text{ в противном случае } \end{cases}
\]
Легко заметить, что каждый \(C_{n}^{j}\) является предсказуемым процессом, поскольку он определяется только с использованием информации от \((n-1)^{\text{th }}\) ставки и до нее. Теперь определим мартингал \(M_{n}^{j}\) как выигрыш после \(n\) ставок для игрока \(j^{t h}\). Заметим, что это определение \(M_{n}^{j}\) уже включает в себя \(C_{n}^{j}\), поскольку мы определили \(M_{n}^{j}\) как общий выигрыш, а не выигрыш на единицу ставки. Решить задачу будет проще, определив \(M_{n}^{j}\) таким образом. Кроме того, заметим, что каждый игрок покидает игру, если проигрывает хотя бы одну из своих ставок. Таким образом, если нужно сделать ставку \((n+1)^{t h}\), то \(M_{n}^{j}= 33^{n}\) и \(M_{n+1}^{j}=33^{n+1}\) с вероятностью \(1 / 33\) и 0 с вероятностью \(32 / 33\). Это происходит потому, что обезьяна набирает каждую букву случайным образом и независимо от предыдущих букв, причем каждая буква имеет равную вероятность быть набранной в любой данный момент. Чтобы показать, что \(M_{n}^{j}\) является мартингалом, мы должны показать, что
\(M_{n}^{j}\) является адаптированным? \(M_{n}^{j}\) определяется событием \(A_{n}\) и тем, является ли набранная в момент времени \(n\) буква правильной.
\(E\left(\left|M_{n}^{j}\right|\right)<\infty , \forall n\)? \(M_{n}^{j}\) всегда положительно и что максимальное значение \(M_{n}^{j}\) равно \(33^{n}\), то есть когда игрок выигрывает все предыдущие \(n\) раз. Поскольку \(33^{n}<\infty\) и \(E\left[\left|M_{n}^{j}\right|\right]=E\left[M_{n}^{j}\right]<33^{n}\), (2) выполняется.
\(E\left[M_{n}^{j} \mid \mathcal{F}_{n-1}\right]=M_{n-1}^{j}, n \geq 1\)? есть два случая. Если игрок проигрывает где-либо до времени \(n\), то, учитывая информацию, \(E\left[M_{n}^{j} \mid \mathcal{F}_{n-1}\right]=0=M_{n-1}^{j}\). Если игрок выигрывает первый (n-1) раз, то
Найдется ли константа \(C>0\), что \(\left|X_{n} - X_{n-1}\right| \leq C\) п.н. для всех \(n\)? Да: в каждый момент в игре участвуют не более \(11\) игроков (пришедшие за последние \(11\) шагов), причем игрок, сделавший к этому моменту \(k\) выигрышных ставок, владеет капиталом \(33^{k}\), \(k \leq 10\). За один шаг такой игрок либо теряет весь свой капитал (\(-33^k\)), либо увеличивает его на \(32 \cdot 33^{k}\); еще \(1\) рубль тратит вновь пришедший игрок. Итого
Честную монетку последовательно подкидывают бесконечное число раз. Найдите матожидание времени первого появления последовательности
Р
РРРР
ОРОО
ОРОР
5 Мартингалы в непрерывном времени
Теорема 8 (Теорема об остановке) Пусть \(\left(X_{t}, t \geqslant 0\right)\)- мартингал относительно \(\mathbb {F}=\left(\mathcal{F}_{t}, t \geqslant 0\right)\) с непрерывными справа траекториями. Тогда \(\forall \tau , \sigma : \tau \leqslant \sigma\) (п.н.) – ограниченных (т.е. из \(L^{\infty }\)) марковских моментов относительно \(\mathbb {F}\) выполнено \[
\mathbb {E}\left[X_{\tau }\right] = \mathbb {E}\left[X_{\sigma }\right]
\]
ProblemЗадача 11
Пусть \(\left(W_{t}, t \geqslant 0\right)-\) винеровский процесс, а \(\tau =\min \{ t:\)\(\left.\left|W_{t}\right|=1\right\}\). Вычислите \(\mathbb {E}\left[\tau \right]\).
HintПодсказка
Докажите, что процесс \(W_t^2 - t\) – это мартингал относительно естественной фильтрации \(W_t\). Воспользуйтесь теоремой об остановке.
Сноски
Напомним, что если \(X\) – сл. величина, то \(X^+ = \max (X, 0) \geq 0, \; X^- = \max (-X, 0) \geq 0\). \(X = X^+ - X^-, \; \left|X\right| = X^+ + X^-\). \(\mathbb {E}\left[\left|X\right|\right] = \mathbb {E}\left[X^+\right] + \mathbb {E}\left[X^-\right]\). \(\mathbb {E}\left[X\right] = \mathbb {E}\left[X^+\right] - \mathbb {E}\left[X^-\right]\), если это выражение определено.↩︎
Это не совсем стандартное определение, а скорее эквивалентное условие из теоремы де ла Валле Пуссена, однако она автору представляется более практикоориентированной. Оригинальное определение равномерной интегрируемости такое: \[
\forall \varepsilon > 0 \quad \exists M > 0: \; \forall \alpha \in A \quad \mathbb {E}\left[\left|X_\alpha \right|; \left|X_\alpha \right| > M\right] < \varepsilon
\]↩︎