Гауссовские векторы

Дата публикации

18 октября 2026

ПредупреждениеЧерновик

Этот конспект ещё находится в процессе редактуры: в тексте могут встречаться опечатки, неточности и локально не проработанные места. Если что-то нашли — сообщите, пожалуйста, автору (контакты на странице курса).

Одномерное нормальное распределение вы уже хорошо знаете: оно возникает как предельное в ЦПТ, описывает ошибки измерений, разброс признаков в природе и обществе. Но на практике редко встречается ровно одна случайная величина — обычно их несколько, и они зависимы (рост и вес человека, доходности активов, координаты случайной точки). Возникает вопрос: что считать «нормальным распределением» для случайного вектора?

Наша задача — перенести понятие гауссовского распределения с прямой на \(\mathbb {R}^{n}\), сохранив все важные свойства: устойчивость относительно аффинных преобразований, простое описание через параметры (вектор средних и ковариационная матрица) и — особенно ценное и совсем неочевидное — эквивалентность некоррелированности и независимости компонент. Многомерное гауссовское распределение — один из центральных объектов вероятности и статистики: оно возникает в многомерной ЦПТ, лежит в основе линейной регрессии и метода наименьших квадратов, описывает гауссовские процессы (включая броуновское движение, курс СП) и активно работает в машинном обучении (гауссовские процессы, метод главных компонент).

План темы: геометрический язык (аффинные подпространства) \(\to\) гауссовские распределения в размерностях \(0\), \(1\), \(n\) \(\to\) четыре эквивалентных определения \(\to\) примеры и контрпримеры \(\to\) некоррелированность и независимость \(\to\) условное матожидание в гауссовском мире \(\to\) многомерная ЦПТ.

1 Введение: аффинные подпространства

Напомним конструкцию из линейной алгебры, которая будет служить основным геометрическим языком для описания гауссовских векторов.

Определение 1 Пусть \(L \subseteq \mathbb {R}^{n}\) — линейное подпространство и \(v_0 \in \mathbb {R}^{n}\). Множество \[ H = v_0 + L := \left\{ v_0 + l \colon l \in L\right\} \] называется аффинным подпространством, порождённым подпространством \(L\) и сдвигом \(v_0\); его размерность \(\dim H := \dim L\).

Иначе говоря, аффинное подпространство — это линейное подпространство, сдвинутое на вектор: оно может не проходить через начало координат, но «сохраняет форму» исходного \(L\). (Далее «подпространство» без уточнений всегда означает линейное, т.е.проходящее через ноль; сдвинутые мы всегда называем аффинными.) Аффинные подпространства естественно возникают как множества решений линейных систем:

Утверждение 1 Пусть \(A \in \mathbb {R}^{m \times n}\), \(b \in \mathbb {R}^{m}\). Множество решений системы \(Ax = b\) либо пусто, либо является аффинным подпространством в \(\mathbb {R}^{n}\) размерности \(n - \operatorname {rk} A\).

Пусть \(x_0\) — частное решение. Если \(x\) — любое решение, то \(A(x - x_0) = 0\), т.е.\(x - x_0 \in \ker A\); обратно, \(x_0 + l\) — решение для любого \(l \in \ker A\). Значит, множество решений равно \(x_0 + \ker A\), а \(\dim \ker A = n - \operatorname {rk} A\) по теореме о ранге и дефекте.

В малых размерностях аффинные подпространства выглядят так:

  • в \(\mathbb {R}\): точки \(\left\{ c\right\}\) (размерность \(0\)) и вся прямая (размерность \(1\)) — ничего промежуточного;

  • в \(\mathbb {R}^{2}\): точки, произвольные прямые (не обязательно через ноль) и вся плоскость;

  • в \(\mathbb {R}^{3}\): точки, прямые, плоскости и всё пространство.

УведомлениеЗдесь будет интерактивная иллюстрация

Интерактивная иллюстрация ещё не создана. См. исходник: /home/nedosh/Documents/online_math_notes/math-notes_FPMI_2/courses/nedosh_courses/courses/04-probability/02_PT/contents/specials/100/02_affine_subspaces_fig.tex.

2 Гауссовское распределение в размерностях 0 и 1

2.1 Размерность 0

Начнём с вырожденного случая. По определению \(\mathbb {R}^{0} := \left\{ 0\right\}\) — множество из одного нуль-вектора. Вероятностная мера на нём ровно одна: \(\mathbb {P}\left(\left\{ 0\right\} \right) = 1\).

Определение 2 Стандартное \(0\)-мерное гауссовское распределение — единственное распределение на \(\mathbb {R}^{0}\): мера, приписывающая точке \(0\) вероятность \(1\).

Определение выглядит шуткой, но это рабочая деталь конструкции: именно оно обслуживает вырожденные случаи в размерностях выше.

2.2 Размерность 1

Стандартное нормальное распределение можно ввести двумя равносильными способами — оба вам знакомы (темы 1 и 8):

Лемма 1 (стандартное нормальное распределение) Для случайной величины \(Y\) эквивалентно:

  1. \(Y\) имеет плотность \(f(y)=\frac{1}{\sqrt{2\pi }}e^{-y^2/2}\);

  2. \(Y\) имеет характеристическую функцию \(\varphi_Y(t)=e^{-t^2/2}\). Пишем \(Y \sim \mathscr {N}\left(0, 1\right)\).

Теперь опишем всё семейство одномерных гауссовских распределений — в нарочито громоздком виде, который затем дословно обобщится на \(\mathbb {R}^{n}\).

Теорема 1 (эквивалентные определения одномерного гауссовского распределения) Для случайной величины \(X\) эквивалентно:

  1. \(X\) — аффинное преобразование стандартной нормальной величины: найдутся \(\mu \in \mathbb {R}\), \(a \in \mathbb {R}\) такие, что

    \[ X = \mu + a Y, \qquad Y \sim \mathscr {N}\left(0, 1\right); \]

  2. характеристическая функция имеет вид \(\varphi_X(t) = e^{i\mu t - \frac{1}{2}\sigma^2 t^2}\) для некоторых \(\mu \in \mathbb {R}\), \(\sigma^2 \geq 0\);

  3. носитель распределения \(X\) — аффинное подпространство в \(\mathbb {R}\), и на нём распределение «колоколообразно»: либо \(X = \mu\) п.н.(случай \(\sigma = 0\): носитель — точка, аффинное подпространство размерности \(0\)), либо \(X\) имеет плотность

    \[ f_X(x) = \frac{1}{\sqrt{2\pi }\, \sigma }\, e^{-\frac{(x-\mu )^2}{2\sigma ^2}}, \qquad \sigma > 0 \]

    (носитель — вся прямая, аффинное подпространство размерности \(1\)). При этом параметры согласованы: \(\mu = \mathbb {E}\left[X\right]\), \(\sigma^2 = \operatorname {Var}\left[X\right] = a^2\). Пишем \(X \sim \mathscr {N}\left(\mu , \sigma^2\right)\).

УведомлениеЗдесь будет интерактивная иллюстрация

Интерактивная иллюстрация ещё не создана. См. исходник: /home/nedosh/Documents/online_math_notes/math-notes_FPMI_2/courses/nedosh_courses/courses/04-probability/02_PT/contents/specials/100/03_gaussian_1d_cases_fig.tex.

Зачем такая громоздкость, если одномерное нормальное распределение прекрасно живёт и без неё? Затем, что именно в этом виде — (1) аффинный образ стандартного распределения, (2) специальная ХФ, (3) носитель-подпространство с колоколом на нём — каждый пункт дословно обобщается на многомерный случай.

Mn-remarkЗамечание

2.3 ранг

Обратите внимание, насколько по-разному устроены случаи \(\sigma = 0\) и \(\sigma > 0\). При \(\sigma = 0\) стандартное \(\mathscr {N}\left(0, 1\right)\) даже не нужно: достаточно взять \(0\)-мерное стандартное распределение (определение Определение 2) и подействовать аффинным отображением. Назовём эти случаи рангом одномерного гауссовского распределения: \(\sigma = 0\) — ранг \(0\) (вырожденное), \(\sigma > 0\) — ранг \(1\) (полный ранг).

Mn-remarkЗамечание

2.4 неоднозначность \(a\)

В представлении (1) коэффициент \(a\) определён неоднозначно: годятся оба значения \(\pm \sigma\), поскольку \(-Y \sim \mathscr {N}\left(0, 1\right)\). Например, \(5 + 2Y\) и \(5 - 2Y\) имеют одно и то же распределение \(\mathscr {N}\left(5, 4\right)\). Дисперсия же \(\sigma^2\) определена однозначно.

Следствие 1 (аффинная устойчивость) Если \(X \sim \mathscr {N}\left(\mu , \sigma^2\right)\) и \(a, b \in \mathbb {R}\), то \(aX + b \sim \mathscr {N}\left(a\mu + b, \, a^2\sigma^2\right)\).

3 Гауссовское распределение в

3.1 Стандартный вектор и общее определение

Действуем по той же схеме: сначала стандартный \(n\)-мерный вектор, затем произвольный гауссовский как его аффинный образ.

Лемма 2 (стандартный гауссовский вектор) Для случайного вектора \(Y = (Y_1, \ldots , Y_n)\) в \(\mathbb {R}^{n}\) эквивалентно:

  1. компоненты \(Y_1, \ldots , Y_n\) независимы и каждая \(\sim \mathscr {N}\left(0, 1\right)\);

  2. \(Y\) имеет плотность \(f_n(y)=\frac{1}{(2\pi )^{n/2}}\, e^{-\left\| y\right\|^2/2}\), где \(\left\| y\right\|^2 = y_1^2 + \ldots + y_n^2\);

  3. \(Y\) имеет характеристическую функцию \(\varphi_{Y}(t)=e^{-\left\| t\right\|^2/2}\), \(t \in \mathbb {R}^{n}\). Пишем \(Y \sim \mathscr {N}\left(0, I_n\right)\).

\((1)\Rightarrow (2)\): плотность вектора с независимыми компонентами — произведение плотностей (тема 2): \(\prod_j \frac{1}{\sqrt{2\pi }}e^{-y_j^2/2} = f_n(y)\). \((2)\Rightarrow (3)\): из мультипликативной структуры \(f_n\) характеристическая функция распадается в произведение одномерных: \(\prod_j e^{-t_j^2/2} = e^{-\left\| t\right\|^2/2}\) (лемма Лемма 1). \((3)\Rightarrow (1)\): совместная ХФ распалась в произведение ХФ координат — это равносильно независимости координат (критерий факторизации, темы 2 и 8), и каждая координата стандартна по лемме Лемма 1.

Плотность из пункта 2 зависит только от \(\left\| y\right\|\): стандартный вектор изотропен (инвариантен относительно поворотов). Сочетание «независимые координаты + сферическая симметрия» — уникальная привилегия гауссовского распределения (теорема Максвелла); ниже она не раз выстрелит.

УведомлениеЗдесь будет интерактивная иллюстрация

Интерактивная иллюстрация ещё не создана. См. исходник: /home/nedosh/Documents/online_math_notes/math-notes_FPMI_2/courses/nedosh_courses/courses/04-probability/02_PT/contents/specials/100/04_std_normal_2d_density_fig.tex.

Определение 3 Случайный вектор \(X\) в \(\mathbb {R}^{n}\) называется гауссовским, если найдутся \(\mu \in \mathbb {R}^{n}\) и матрица \(A\) такие, что \[ X = \mu + AY, \qquad Y \sim \mathscr {N}\left(0, I_m\right), \] где \(A \in \mathbb {R}^{n \times m}\) (можно считать \(m = n\); прямоугольные матрицы разрешены — см.замечание @rem:rectangular ниже).

Никакой невырожденности от \(A\) не требуется — и это принципиально: вырожденные гауссовские векторы, у которых вся масса живёт на аффинном подпространстве меньшей размерности, в приложениях повсеместны (остатки регрессии, частоты с фиксированной суммой).

3.2 Параметры: матожидание, ковариационная матрица, ХФ

В одномерном случае распределение полностью определялось парой \((\mu , \sigma^2)\). Покажем, что и в \(\mathbb {R}^{n}\) гауссовский вектор определяется двумя параметрами — вектором средних и ковариационной матрицей, заменяющей дисперсию.

Теорема 2 (параметры гауссовского вектора) Пусть \(X = \mu + AY\), \(Y \sim \mathscr {N}\left(0, I_m\right)\). Тогда:

  1. \(\mathbb {E}\left[X\right] = \mu\);

  2. \(\operatorname {Var}\left[X\right] = AA^T =: \Sigma\) (ковариационная матрица, \(\Sigma_{ij} = \operatorname {Cov}\left[ X_i, X_j \right]\));

  3. характеристическая функция

    \[ \varphi _{X}(t) = \exp \left(i\, \mu ^T t - \tfrac 12\, t^T \Sigma \, t\right), \qquad t \in \mathbb {R}^{n}. \]

  1. Линейность: \(\mathbb {E}\left[X\right] = \mu + A\, \mathbb {E}\left[Y\right] = \mu\). (2) \(\operatorname {Var}\left[X\right] = \mathbb {E}\left[AY(AY)^T\right] = A\, \mathbb {E}\left[YY^T\right]A^T = AA^T\), поскольку \(\mathbb {E}\left[YY^T\right] = I_m\) (единицы на диагонали — дисперсии, нули вне — независимость). (3) \(\varphi_X(t) = \mathbb {E}\left[e^{it^T(\mu + AY)}\right] = e^{it^T\mu }\, \varphi_Y(A^Tt) = e^{it^T\mu }\, e^{-\frac12\left\| A^Tt\right\|^2}\), и \(\left\| A^Tt\right\|^2 = t^TAA^Tt = t^T\Sigma t\).

Итак, матрица \(A\) входит в распределение только через произведение \(\Sigma = AA^T\) — сама \(A\) не более чем «строительные леса».

Теорема 3 (однозначность параметров) Распределение гауссовского вектора однозначно определяется парой \((\mu , \Sigma )\):

  1. если \(A_1A_1^T = A_2A_2^T = \Sigma\), то векторы \(\mu + A_1Y_1\) и \(\mu + A_2Y_2\) одинаково распределены;

  2. обратно, для любых \(\mu \in \mathbb {R}^{n}\) и симметричной неотрицательно определённой \(\Sigma\) существует гауссовский вектор с \(\mathbb {E}\left[X\right] = \mu\), \(\operatorname {Var}\left[X\right] = \Sigma\). Пишем \(X \sim \mathscr {N}\left(\mu , \Sigma \right)\).

  1. По теореме Теорема 2(3) обе ХФ равны \(e^{i\mu^Tt - \frac12 t^T\Sigma t}\); теорема единственности для ХФ (многомерный вариант) отождествляет распределения. (2) По спектральной теореме \(\Sigma = QDQ^T\) с ортогональной \(Q\) и диагональной \(D = \operatorname {diag}(\lambda_1, \ldots , \lambda_n)\), \(\lambda_i \geq 0\). Положим \(A := QD^{1/2}\); тогда \(AA^T = QDQ^T = \Sigma\), и вектор \(\mu + AY\) — искомый.

Определение 4 Число \(k := \operatorname {rk}\Sigma \in \left\{ 0, 1, \ldots , n\right\}\) называется рангом гауссовского вектора \(X \sim \mathscr {N}\left(\mu , \Sigma \right)\). При \(k = n\) вектор называется невырожденным (полного ранга), при \(k < n\) — вырожденным.

Лемма 3 Для любой \(A \in \mathbb {R}^{n \times m}\) выполнено \(\operatorname {rk}(AA^T) = \operatorname {rk} A\) — ранг вектора можно считать и по матрице \(A\) из представления.

Достаточно проверить \(\ker (AA^T) = \ker (A^T)\): включение \(\supseteq\) очевидно, а если \(AA^Tx = 0\), то \(0 = x^TAA^Tx = \left\| A^Tx\right\|^2\), откуда \(A^Tx = 0\). Дефекты равны — равны и ранги.

3.3 Редукция размерности

Если \(k < n\), то для построения \(X\) на самом деле достаточно \(k\)-мерного стандартного вектора — как в одномерном случае, где при \(\sigma = 0\) хватало \(0\)-мерного распределения.

Утверждение 2 (редукция размерности) Пусть \(X = \mu + AY\) — гауссовский вектор ранга \(k = \operatorname {rk}A\). Тогда найдутся матрица \(A' \in \mathbb {R}^{n \times k}\) полного столбцового ранга \(k\) и вектор \(Y' \sim \mathscr {N}\left(0, I_k\right)\) такие, что \(X = \mu + A'Y'\).

Идея доказательства — сингулярное разложение: \(A = U_k \Sigma_k V_k^T\) (нулевые сингулярные числа не дают вклада), \(A' := U_k\Sigma_k\), \(Y' := V_k^TY\); проверка \(Y' \sim \mathscr {N}\left(0, I_k\right)\) — прямое вычисление ХФ, использующее \(V_k^TV_k = I_k\).

ExampleПример 1 - Редукция размерности на конкретном примере

Пусть \(n = 2\), \(\mu = 0\), \(A=\begin{psmallmatrix} 1& 1\\ 1& 1\end{psmallmatrix}\) — матрица ранга \(1\). Найдите представление вектора \(X = AY\) через одну стандартную нормальную величину.

SolutionРешение

Имеем \(X = (Y_1+Y_2, \, Y_1+Y_2)\). Величина \(Y' := \frac{Y_1+Y_2}{\sqrt2}\) стандартна: сумма \(Y_1 + Y_2 \sim \mathscr {N}\left(0, 2\right)\) (свёртка, тема 3), и деление на \(\sqrt2\) нормирует дисперсию. Тогда \[ X = \begin{psmallmatrix} \sqrt2\\ \sqrt2\end{psmallmatrix} Y' =: A'Y', \qquad A' \in \mathbb {R}^{2 \times 1}, \quad Y'\sim \mathscr {N}\left(0, 1\right) \] — то же распределение, но с одной (а не двумя) независимой стандартной величиной. Носитель \(X\) — диагональ \(\left\{ x_1 = x_2\right\}\), аффинное подпространство размерности \(1 = \operatorname {rk}A\).

Mn-remarkЗамечание

Редукция показывает, что в определении Определение 3 можно свободно разрешать прямоугольные \(A \in \mathbb {R}^{n \times m}\) при любом \(m\): класс гауссовских векторов от этого не меняется, а запись становится экономнее. Дальше пользуемся обеими формами.

Лемма 4 (аффинный образ гауссовского вектора) Пусть \(X\) — гауссовский вектор в \(\mathbb {R}^{n}\), \(C \in \mathbb {R}^{m \times n}\), \(b \in \mathbb {R}^{m}\). Тогда \(Z = b + CX\) — гауссовский вектор в \(\mathbb {R}^{m}\), причём \(Z \sim \mathscr {N}\left(b + C\mu , \; C\Sigma C^T\right)\).

Подставляя \(X = \mu + AY\): \(Z = (b + C\mu ) + (CA)Y\) — снова аффинный образ стандартного вектора (с прямоугольной матрицей \(CA\), замечание @rem:rectangular). Параметры — по теореме Теорема 2.

Гауссовский мир замкнут относительно линейной алгебры: суммы, разности, проекции, повороты гауссовских векторов гауссовские, и всё считается умножением матриц.

3.4 Маргинальные распределения и критерий через линейные комбинации

Утверждение 3 (линейные комбинации координат) Пусть \(X \sim \mathscr {N}\left(\mu , \Sigma \right)\) в \(\mathbb {R}^{n}\), \(c \in \mathbb {R}^{n}\). Тогда \[ c^T X = c_1X_1 + \ldots + c_nX_n \; \sim \; \mathscr {N}\left(c^T\mu , \; c^T\Sigma c\right). \] В частности (\(c = e_i\)): каждая координата \(X_i \sim \mathscr {N}\left(\mu_i, \Sigma_{ii}\right)\).

Это частный случай леммы Лемма 4 при \(m = 1\). Обратное неверно: из нормальности каждой координаты по отдельности гауссовость вектора не следует — контрпримеры ниже (примеры «шахматный» и \((\xi , \eta \xi )\)). Нормальность маргиналов необходима, но не достаточна. А вот если потребовать нормальности всех линейных комбинаций сразу — этого уже достаточно:

Теорема 4 (критерий гауссовости через линейные комбинации) Вектор \(X\) гауссовский тогда и только тогда, когда для любого \(c \in \mathbb {R}^{n}\) величина \(c^T X\) имеет одномерное гауссовское распределение (возможно, вырожденное).

(\(\Rightarrow\)) — утверждение Утверждение 3. (\(\Leftarrow\)) Каждая координата гауссовская, значит, вторые моменты конечны и корректно определены \(\mu := \mathbb {E}\left[X\right]\), \(\Sigma := \operatorname {Var}\left[X\right]\). Величина \(c^TX\) гауссовская с параметрами \(c^T\mu\), \(c^T\Sigma c\), поэтому её ХФ в точке \(s = 1\) равна \[ \varphi _X(c) = \mathbb {E}\left[e^{i \, c^TX}\right] = \varphi _{c^TX}(1) = e^{i c^T\mu - \frac12 c^T\Sigma c}. \] Точка \(c\) произвольна — значит, ХФ вектора \(X\) имеет в точности гауссовский вид из теоремы Теорема 2(3), и по теореме Теорема 3(2) плюс единственности ХФ вектор \(X\) распределён как \(\mathscr {N}\left(\mu , \Sigma \right)\).

3.5 Плотность полного ранга

Утверждение 4 (плотность) Если \(\det \Sigma \neq 0\), то \(X \sim \mathscr {N}\left(\mu , \Sigma \right)\) имеет плотность \[ f_X(x) = \frac{1}{(2\pi )^{n/2}\sqrt{\det \Sigma }} \exp \left(-\tfrac 12 (x - \mu )^T \Sigma ^{-1} (x-\mu )\right), \qquad x \in \mathbb {R}^{n}. \] Линии уровня — эллипсоиды с осями вдоль собственных векторов \(\Sigma\) и полуосями \(\propto \sqrt{\lambda_i}\). При \(\det \Sigma = 0\) плотности в \(\mathbb {R}^{n}\) нет: вся масса — на аффинном подпространстве \(\mu + \operatorname {Im}A\) размерности \(\operatorname {rk}\Sigma\).

(Вывод — замена переменных из темы 2 в представлении \(X = \mu + AY\) с невырожденной \(A\): якобиан \(\left|\det A^{-1}\right| = 1/\sqrt{\det \Sigma }\).)

УведомлениеЗдесь будет интерактивная иллюстрация

Интерактивная иллюстрация ещё не создана. См. исходник: /home/nedosh/Documents/online_math_notes/math-notes_FPMI_2/courses/nedosh_courses/courses/04-probability/02_PT/contents/specials/100/01_gaussian_contours_fig.tex.

4 Четыре эквивалентных определения

Соберём всё воедино — многомерный аналог теоремы Теорема 1. Чтобы говорить о плотности на аффинном подпространстве \(H\) размерности \(k < n\) (обычной \(n\)-мерной плотности у вырожденного вектора нет), достаточно выбрать на \(H\) ортонормированные координаты \(z \in \mathbb {R}^{k}\) и задавать плотность в них.

Теорема 5 (эквивалентные определения гауссовского вектора) Для случайного вектора \(X\) в \(\mathbb {R}^{n}\) эквивалентно:

  1. \(X\) — аффинный образ стандартного гауссовского вектора: \(X = \mu + AY\), \(Y \sim \mathscr {N}\left(0, I_m\right)\);

  2. характеристическая функция имеет вид \(\varphi_X(t) = \exp \left(i\mu^Tt - \frac12 t^T\Sigma t\right)\) с симметричной неотрицательно определённой \(\Sigma\);

  3. носитель распределения \(X\) — аффинное подпространство \(H \subseteq \mathbb {R}^{n}\) размерности \(k\), и в подходящих ортонормированных координатах на \(H\) распределение имеет невырожденную гауссовскую плотность \(\frac{1}{(2\pi )^{k/2}\sqrt{\det \Sigma '}}e^{-\frac12 z^T(\Sigma ')^{-1}z}\) (при \(k = 0\): \(X\) — константа п.н.);

  4. любая линейная комбинация \(c^T X\), \(c \in \mathbb {R}^{n}\), имеет одномерное гауссовское распределение (возможно, вырожденное). Во всех пунктах \(\mu = \mathbb {E}\left[X\right]\), \(\Sigma = \operatorname {Var}\left[X\right]\), \(k = \operatorname {rk}\Sigma\).

4.1 Схема доказательства

\((1)\Leftrightarrow (2)\) — теоремы Теорема 2(3) и Теорема 3; \((2)\Leftrightarrow (4)\) — теорема Теорема 4. Связка с (3): в направлении \((1)\Rightarrow (3)\) редукция размерности (утверждение Утверждение 2) даёт \(X = \mu + A'Y'\) с \(A'\) полного столбцового ранга \(k\); носитель — образ \(\mathbb {R}^{k}\) при линейной инъекции, т.е.аффинное подпространство \(H = \mu + \operatorname {Im}A'\), а в ортонормированном базисе \(\operatorname {Im}A'\) (левые сингулярные векторы \(A'\)) координаты \(X\) — невырожденный линейный образ \(Y'\), имеющий гауссовскую плотность (утверждение Утверждение 4 в размерности \(k\)). Обратно, \((3)\Rightarrow (1)\): колокол в координатах на \(H\) — линейный образ стандартного вектора (спектральное разложение \(\Sigma ' = RDR^T\), замена \(W = D^{-1/2}R^Tz\)), и, разгибая параметризацию \(H\), получаем представление \(X = \mu + (ERD^{1/2})W\), где \(E\) — матрица базисных векторов.

Итого четыре равносильных взгляда на один объект: аффинный образ независимых стандартных величин; распределение со специальной ХФ; колокол на аффинном подпространстве; объект, все одномерные проекции которого нормальны. Сейчас мы воспользуемся всеми четырьмя, чтобы быстро проверять (не)гауссовость конкретных векторов.

5 Когда вектор гауссовский, а когда нет

Разберём четыре показательных примера в \(\mathbb {R}^{2}\) — один заведомо гауссовский и три пограничных, где интуиция подводит.

ExampleПример 2 - Стандартный вектор

\((X_1, X_2) \sim \mathscr {N}\left(0, I_2\right)\) — гауссовский?

SolutionРешение

Да, по самому определению Определение 3 (\(\mu = 0\), \(A = I_2\)), полного ранга \(2\): плотность — колокол вращения \(f_2(x_1,x_2)=\frac{1}{2\pi }e^{-(x_1^2+x_2^2)/2}\), носитель — весь \(\mathbb {R}^{2}\) (единственное двумерное аффинное подпространство плоскости).

ExampleПример 3 - «Шахматная» модификация плотности

Возьмём плотность \(f_2\) стандартного вектора, обнулим её в квадрантах, где \(x_1x_2 > 0\), и удвоим там, где \(x_1 x_2 < 0\): \[ g(x_1,x_2) := \begin{cases} 2f_2(x_1,x_2), & x_1x_2<0,\\ 0, & x_1x_2>0. \end{cases} \] Покажите, что \(g\) — корректная плотность, вектор с плотностью \(g\) не гауссовский, но обе его координаты — стандартные гауссовские величины.

SolutionРешение

Корректность: по симметрии \(\mathbb {P}\left(X_1X_2 < 0\right) = \frac12\) для стандартного вектора, поэтому \(\iint g = 2 \cdot \frac12 = 1\).

Не гауссовский — через носитель (пункт 3). Носитель \(g\) — объединение двух замкнутых квадрантов \(H = \left\{ x_1x_2 \leq 0\right\}\). У него есть внутренние точки (будь он аффинным подпространством, имел бы размерность \(2\)), но \(H \neq \mathbb {R}^{2}\) (точка \((1,1) \notin H\)) — а единственное двумерное аффинное подпространство плоскости есть вся плоскость. Значит, \(H\) — не аффинное подпространство, и по теореме Теорема 5(3) вектор не гауссовский.

Не гауссовский — через линейную комбинацию (пункт 4). Возьмём \(S = X_1 + X_2\). Его плотность в нуле:

\[ f_S(0) = \int _{\mathbb {R}} g(x, -x)\, dx = 2\int _{\mathbb {R}} f(x)^2\, dx = \frac{2}{2\pi }\int _{\mathbb {R}} e^{-x^2}dx = \frac{1}{\sqrt{\pi }}. \]

С другой стороны, \(\mathbb {E}\left[S\right] = 0\), а \(\operatorname {Cov}\left[ X_1, X_2 \right] = 2\iint_{x_1x_2<0}x_1x_2 f_2 = -\frac{2}{\pi }\) (произведение двух одномерных интегралов \(\int_0^\infty x f(x)dx = \frac{1}{\sqrt{2\pi }}\) на каждой половине области), так что будь \(S\) гауссовской, было бы \(S \sim \mathscr {N}\left(0, 2 - \frac{4}{\pi }\right)\) и \(f_S(0) = \frac{1}{\sqrt{2\pi (2 - 4/\pi )}} = \frac{1}{\sqrt{4\pi - 8}}\). Но \(\pi \neq 4\pi - 8\) — противоречие: \(S\) не гауссовская.

Координаты гауссовские. При \(x_1 > 0\) условие \(x_1x_2 < 0\) означает \(x_2 < 0\):

\[ f_{X_1}(x_1) = \int _{-\infty }^{0} 2f(x_1)f(x_2)\, dx_2 = 2f(x_1)\cdot \tfrac 12 = f(x_1), \]

и так же при \(x_1 < 0\): \(X_1 \sim \mathscr {N}\left(0, 1\right)\), по симметрии и \(X_2\). Итак, обе маргинали стандартные нормальные, а вектор — нет.

УведомлениеЗдесь будет интерактивная иллюстрация

Интерактивная иллюстрация ещё не создана. См. исходник: /home/nedosh/Documents/online_math_notes/math-notes_FPMI_2/courses/nedosh_courses/courses/04-probability/02_PT/contents/specials/100/05_checkerboard_density_fig.tex.

ExampleПример 4 - Вектор (\xi ,\xi ): вырожденный гауссовский ранга 1

Пусть \(\xi \sim \mathscr {N}\left(0, 1\right)\), \(X = (\xi , \xi )\). Гауссовский ли это вектор?

SolutionРешение

Да: \(X = \begin{psmallmatrix} 1\\ 1\end{psmallmatrix}\xi\) — линейный образ одномерного стандартного вектора (представление (1) с прямоугольной матрицей \(2 \times 1\)). Носитель — диагональ \(H = \left\{ x_1 = x_2\right\}\), одномерное подпространство; двумерной плотности нет (\(\Sigma = \begin{psmallmatrix} 1& 1\\ 1& 1\end{psmallmatrix}\), \(\det \Sigma = 0\), ранг \(1\)). Зато вдоль диагонали, в ортонормированной координате \(z = \frac{x_1+x_2}{\sqrt2}\), вектор устроен как обычная одномерная гауссовская величина \(Z = \sqrt2\, \xi \sim \mathscr {N}\left(0, 2\right)\) с колоколообразной плотностью — ровно случай (3) теоремы Теорема 5 при \(k = 1\).

ExampleПример 5 - Вектор (\xi ,\eta \xi ): маргинали гауссовские, а вектор — нет

Пусть \(\xi \sim \mathscr {N}\left(0, 1\right)\), и независимо \(\eta = \pm 1\) с вероятностями \(\frac12\). Исследуйте вектор \(X = (\xi , \eta \xi )\).

SolutionРешение

При \(\eta = 1\) вектор лежит на диагонали \(H_+ = \left\{ x_1 = x_2\right\}\), при \(\eta = -1\) — на антидиагонали \(H_- = \left\{ x_1 = -x_2\right\}\); носитель — крест \(H_+ \cup H_-\) (каждая прямая с вероятностью \(\frac12\)).

Не гауссовский — носитель. Крест не является аффинным подпространством: он больше каждой из прямых, но не совпадает с \(\mathbb {R}^{2}\) (точка \((1,0)\) не лежит на кресте). Теорема Теорема 5(3) отвергает гауссовость.

Не гауссовский — линейная комбинация. \(S = X_1 + X_2 = \xi (1 + \eta )\): при \(\eta = -1\) тождественный ноль, при \(\eta = 1\) — \(2\xi\). Итого \(S\) — смесь \(\mathscr {N}\left(0, 4\right)\) и атома в нуле с весами \(\frac12\): у невырожденного гауссовского распределения атомов не бывает, а вырожденное — целиком атом. Значит, \(S\) не гауссовская, и по критерию (4) вектор не гауссовский.

Маргинали гауссовские. \(X_1 = \xi\) — очевидно. Для \(X_2 = \eta \xi\) считаем ХФ (независимость \(\eta\) и \(\xi\), чётность \(\varphi_\xi\)):

\[ \varphi _{X_2}(t) = \tfrac 12\mathbb {E}\left[e^{it\xi }\right] + \tfrac 12\mathbb {E}\left[e^{-it\xi }\right] = \varphi _\xi (t) = e^{-t^2/2}, \]

т.е.\(X_2 \sim \mathscr {N}\left(0, 1\right)\) — «случайно отражённая» копия \(\xi\) снова стандартна.

УведомлениеЗдесь будет интерактивная иллюстрация

Интерактивная иллюстрация ещё не создана. См. исходник: /home/nedosh/Documents/online_math_notes/math-notes_FPMI_2/courses/nedosh_courses/courses/04-probability/02_PT/contents/specials/100/06_two_diagonals_fig.tex.

Главный урок этих примеров: чтобы установить гауссовость вектора, недостаточно проверить его компоненты — нужно либо предъявить аффинное преобразование стандартного вектора (1), либо проверить ХФ (2), либо (для контрпримеров часто проще всего) взглянуть на носитель (3), либо найти «плохую» линейную комбинацию (4).

6 Некоррелированность и независимость

Для произвольных величин из независимости следует некоррелированность, но не наоборот: корреляция ловит только линейную зависимость (вспомните \(\xi\) и \(\xi^2\) из темы 3). Удивительно, но если весь вектор гауссовский, асимметрия исчезает.

Теорема 6 (некоррелированность \(\Leftrightarrow\) независимость) Пусть \((X, Y)\) — совместно гауссовский вектор, \(X \in \mathbb {R}^{p}\), \(Y \in \mathbb {R}^{q}\). Тогда \(X\) и \(Y\) независимы тогда и только тогда, когда матрица взаимных ковариаций нулевая: \(\operatorname {Cov}\left[ X_i, Y_j \right] = 0\) для всех \(i, j\).

(\(\Rightarrow\)) верно всегда. (\(\Leftarrow\)) При нулевом взаимном блоке \(\Sigma = \begin{psmallmatrix} \Sigma_{XX}& 0\\ 0& \Sigma_{YY}\end{psmallmatrix}\) квадратичная форма в ХФ распадается без перекрёстных слагаемых: \[ \varphi _{(X,Y)}(s,t) = \exp \left(i\mu _X^Ts - \tfrac 12 s^T\Sigma _{XX}s\right)\cdot \exp \left(i\mu _Y^Tt - \tfrac 12 t^T\Sigma _{YY}t\right) = \varphi _X(s)\, \varphi _Y(t), \] а факторизация совместной ХФ равносильна независимости.

Это единственное место в теории вероятностей, где некоррелированность влечёт независимость, — и самая опасная теорема курса: критична гауссовость всего вектора. Пример \((\xi , \eta \xi )\) выше — прямой контрпример к «упрощённой» формулировке: обе координаты стандартные гауссовские и, как легко проверить, некоррелированные (\(\operatorname {Cov}\left[ \xi , \eta \xi \right] = \mathbb {E}\left[\eta \right]\mathbb {E}\left[\xi^2\right] = 0\)), но \(\left|X_2\right| = \left|X_1\right|\) — зависимость тотальная. Теорема к этому вектору просто неприменима: он не гауссовский. Практическое эхо: модели, описывающие зависимость активов одними корреляциями (как будто всё совместно гауссовское), систематически недооценивают одновременные обвалы — зависимость реальных рынков в хвостах сильнее гауссовской.

ExampleПример 6 - Подбор независимых линейных комбинаций

Пусть \((\xi , \eta )\) — гауссовский вектор, \(\operatorname {Var}\left[\xi \right] > 0\). Подберите числа \(\alpha_{1,2}\) так, чтобы величины \(\eta + \alpha_1\xi\) и \(\eta + \alpha_2\xi\) были независимы.

SolutionРешение

Вектор \(\left(\eta +\alpha_1\xi ,\; \eta +\alpha_2\xi \right)\) — линейный образ гауссовского, значит, гауссовский (лемма Лемма 4), и по теореме Теорема 6 независимость равносильна нулевой ковариации: \[ \operatorname {Cov}\left[ \eta +\alpha _1\xi , \eta +\alpha _2\xi \right] = \operatorname {Var}\left[\eta \right] + (\alpha _1+\alpha _2)\operatorname {Cov}\left[ \xi , \eta \right] + \alpha _1\alpha _2\operatorname {Var}\left[\xi \right] = 0. \] Возьмём \(\alpha_1 = -\alpha_2\) — слагаемое с \(\operatorname {Cov}\left[ \xi , \eta \right]\) исчезает, и остаётся \(\operatorname {Var}\left[\eta \right] - \alpha_1^2\operatorname {Var}\left[\xi \right] = 0\): \[ \alpha _1 = -\alpha _2 = \sqrt{\frac{\operatorname {Var}\left[\eta \right]}{\operatorname {Var}\left[\xi \right]}} \] — при таком выборе (какова бы ни была ковариация \(\xi\) и \(\eta\)!) комбинации гарантированно независимы.

7 УМО одной компоненты относительно другой

Вы уже знаете общую конструкцию УМО (тема 11) и её геометрию: \(\mathbb {E}\left[ X \mid \mathcal{G} \right]\) — ортогональная проекция на \(L^2(\mathcal{G})\). В общем случае \(\mathcal{G} = \sigma (Y)\) эта проекция — сколь угодно сложная нелинейная функция \(Y\). Для гауссовских векторов происходит чудо: проекция на всё \(L^2(\sigma (Y))\) совпадает с проекцией на крошечное подпространство \(\operatorname {span}\left\{ 1, Y_1, \ldots , Y_q\right\}\) — УМО оказывается аффинной функцией \(Y\).

Теорема 7 (условное распределение части гауссовского вектора) Пусть \((X, Y)\) — совместно гауссовский вектор, \(X \in \mathbb {R}^{p}\), \(Y \in \mathbb {R}^{q}\), с блоками средних \(\mu_X, \mu_Y\) и ковариаций \(\Sigma_{XX}, \Sigma_{XY}, \Sigma_{YX}, \Sigma_{YY}\), причём \(\Sigma_{YY}\) невырождена. Тогда условное распределение \(X\) при условии \(Y\) — гауссовское, с параметрами \[ \mathbb {E}\left[ X \mid Y \right] = \mu _X + \Sigma _{XY}\Sigma _{YY}^{-1}(Y - \mu _Y), \qquad \operatorname {Var}\left[ X \mid Y \right] = \Sigma _{XX} - \Sigma _{XY}\Sigma _{YY}^{-1}\Sigma _{YX}, \] причём условная ковариация — постоянная матрица, не зависящая от значения \(Y\).

Положим \(B := \Sigma_{XY}\Sigma_{YY}^{-1}\), \[ \widehat{X} := \mu _X + B(Y - \mu _Y), \qquad Z := X - \widehat{X}. \] Вектор \(\widehat{X}\) — аффинная функция \(Y\), т.е.\(\sigma (Y)\)-измерим; пара \((Z, Y)\) — линейный образ гауссовского вектора \((X, Y)\), значит, совместно гауссовская (лемма Лемма 4). Считаем параметры \(Z\):

  • \(\mathbb {E}\left[Z\right] = \mu_X - \left(\mu_X + B(\mu_Y - \mu_Y)\right) = 0\);

  • взаимная ковариация \(\operatorname {Cov}\left[ Z, Y \right] = \Sigma_{XY} - B\Sigma_{YY} = \Sigma_{XY} - \Sigma_{XY} = 0\);

  • \(\operatorname {Var}\left[Z\right] = \Sigma_{XX} - 2\, \Sigma_{XY}\Sigma_{YY}^{-1}\Sigma_{YX} + B\Sigma_{YY}B^T = \Sigma_{XX} - \Sigma_{XY}\Sigma_{YY}^{-1}\Sigma_{YX}\).

Пара \((Z, Y)\) гауссовская с нулевой взаимной ковариацией — по теореме Теорема 6 \(Z\) и \(Y\) независимы. Поэтому при условии \(Y = y\) распределение \(Z\) — его безусловное распределение \(\mathscr {N}\left(0, \Sigma_{XX} - \Sigma_{XY}\Sigma_{YY}^{-1}\Sigma_{YX}\right)\), не зависящее от \(y\); а \(X = \widehat{X} + Z\), где \(\widehat{X}\) при этом условии — константа \(\mu_X + B(y - \mu_Y)\). Итого условное распределение \(X\) — гауссовское со сдвинутым средним и постоянной ковариацией.

Mn-remarkЗамечание

Величина \(\widehat{X}\) — это в точности ортогональная проекция \(X\) на линейное подпространство \(\operatorname {span}\left\{ 1, Y_1, \ldots , Y_q\right\} \subseteq L^2\): условия \(\operatorname {Cov}\left[ Z, Y \right] = 0\) и \(\mathbb {E}\left[Z\right] = 0\) — ровно условия ортогональности остатку. Теорема утверждает, что для гауссовских векторов эта линейная проекция совпадает с полной проекцией на \(L^2(\sigma (Y))\): никакая нелинейная функция \(Y\) не приближает \(X\) лучше линейной. На этом свойстве стоят линейная регрессия и фильтр Калмана; для негауссовских распределений оно, конечно, не выполняется. Общий контекст условных распределений — тема 12.

Следствие 2 (условный второй момент) При \(p = 1\) (скалярный \(X\)): \[ \mathbb {E}\left[ X^2 \mid Y \right] = \operatorname {Var}\left[ X \mid Y \right] + \left(\mathbb {E}\left[ X \mid Y \right]\right)^2. \]

Разберём три примера — символьный и два численных.

ExampleПример 7 - Символьный случай

\((X, Y)\) — гауссовский вектор со средними \(a_X, a_Y\), дисперсиями \(\sigma_X^2, \sigma_Y^2\) и ковариацией \(\sigma_{XY}\). Найдите \(\mathbb {E}\left[ X \mid Y \right]\) и \(\mathbb {E}\left[ X \mid X+Y \right]\).

SolutionРешение

Прямо по теореме Теорема 7 (скалярные блоки): \[ \mathbb {E}\left[ X \mid Y \right] = a_X + \frac{\sigma _{XY}}{\sigma _Y^2}\, (Y - a_Y). \] Для второго — положим \(S = X + Y\); пара \((X, S)\) гауссовская (линейный образ), с \(\operatorname {Cov}\left[ X, S \right] = \sigma_X^2 + \sigma_{XY}\) и \(\operatorname {Var}\left[S\right] = \sigma_X^2 + 2\sigma_{XY} + \sigma_Y^2\): \[ \mathbb {E}\left[ X \mid X+Y \right] = a_X + \frac{\sigma _X^2+\sigma _{XY}}{\sigma _X^2+2\sigma _{XY}+\sigma _Y^2}\, \left(X+Y-a_X-a_Y\right). \] Обратите внимание на схему: чтобы обусловиться на функцию компонент, включите её в гауссовский вектор и примените теорему к новой паре.

ExampleПример 8 - Численный случай: \mathbb {E}\left[ (X-Y)^2 \mid X+Y \right]

\((X, Y) \sim \mathscr {N}\left((1, -1), \Sigma \right)\), \(\Sigma = \begin{psmallmatrix} 5& 2\\ 2& 1\end{psmallmatrix}\). Найдите \(\mathbb {E}\left[ (X-Y)^2 \mid X+Y \right]\).

SolutionРешение

Положим \(U = X - Y\), \(S = X + Y\); пара \((U, S)\) гауссовская. Билинейность ковариации: \[ \begin{gathered} \mathbb {E}\left[U\right] = 2, \qquad \mathbb {E}\left[S\right] = 0, \\ \operatorname {Var}\left[U\right] = 5 + 1 - 2\cdot2 = 2, \qquad \operatorname {Var}\left[S\right] = 5 + 1 + 2\cdot2 = 10, \qquad \operatorname {Cov}\left[ U, S \right] = \operatorname {Var}\left[X\right] - \operatorname {Var}\left[Y\right] = 4 \end{gathered} \] (перекрёстные ковариации в \(\operatorname {Cov}\left[ X-Y, X+Y \right]\) взаимно уничтожились). По теореме Теорема 7: \[ \mathbb {E}\left[ U \mid S \right] = 2 + \frac{4}{10}\, S = 2 + \frac25 S, \qquad \operatorname {Var}\left[ U \mid S \right] = 2 - \frac{16}{10} = \frac25, \] и по следствию Следствие 2: \[ \mathbb {E}\left[ (X-Y)^2 \mid X+Y \right] = \frac25 + \left(2 + \frac25 (X+Y)\right)^2 = \frac{22}{5}+\frac85(X+Y)+\frac{4}{25}(X+Y)^2. \]

ExampleПример 9 - Численный случай: три компоненты

\((X, Y, Z) \sim \mathscr {N}\left((-1, 0, 2), \Sigma \right)\), \(\Sigma = \begin{psmallmatrix} 3& -2& 2\\ -2& 4& -1\\ 2& -1& 3\end{psmallmatrix}\). Найдите \(\mathbb {E}\left[ X - Y - Z \mid X + 2Y + Z \right]\).

SolutionРешение

Положим \(U = c_1^T(X,Y,Z)\), \(S = c_2^T(X,Y,Z)\) с \(c_1 = (1,-1,-1)^T\), \(c_2 = (1,2,1)^T\); пара \((U, S)\) гауссовская. Считаем матрично: \[ \Sigma c_2 = \begin{psmallmatrix} 1\\ 5\\ 3\end{psmallmatrix}, \qquad \operatorname {Var}\left[S\right] = c_2^T\Sigma c_2 = 1 + 10 + 3 = 14, \qquad \operatorname {Cov}\left[ U, S \right] = c_1^T\Sigma c_2 = 1 - 5 - 3 = -7, \] и \(\mathbb {E}\left[U\right] = -3\), \(\mathbb {E}\left[S\right] = 1\). По теореме Теорема 7: \[ \mathbb {E}\left[ U \mid S \right] = -3 - \frac{7}{14}\, (S - 1) = -\frac52 - \frac12\, \left(X + 2Y + Z\right). \] Весь расчёт — два матрично-векторных произведения: «вероятность = линейная алгебра».

8 Если кратко

  • Гауссовский вектор — аффинный образ \(\mu + AY\) стандартного; распределение определяется парой \((\mu , \Sigma = AA^T)\); ХФ: \(\exp \left(i\mu^Tt - \frac12 t^T\Sigma t\right)\).

  • Ранг \(\operatorname {rk}\Sigma\) отделяет невырожденные векторы (есть плотность с эллипсоидальными уровнями) от вырожденных (масса на аффинном подпространстве размерности \(\operatorname {rk}\Sigma\) — и там колокол).

  • Четыре эквивалентных определения: аффинный образ / ХФ / колокол на аффинном подпространстве / все линейные комбинации нормальны. Нормальности одних маргиналов недостаточно («шахматный» пример, крест \((\xi , \eta \xi )\)).

  • Линейные образы гауссовских векторов гауссовские; параметры пересчитываются по \(\mu \mapsto b + C\mu\), \(\Sigma \mapsto C\Sigma C^T\).

  • Для совместно гауссовских векторов некоррелированность равносильна независимости.

  • УМО одной части по другой — аффинная функция условия: \(\mathbb {E}\left[ X \mid Y \right] = \mu_X + \Sigma_{XY}\Sigma_{YY}^{-1}(Y - \mu_Y)\); условная ковариация постоянна. Линейный прогноз оптимален среди всех.

9 Многомерная ЦПТ

Теорема 8 (многомерная ЦПТ) Пусть \(X^{(1)}, X^{(2)}, \ldots\) — независимые одинаково распределённые случайные векторы в \(\mathbb {R}^{d}\) с \(\mathbb {E}\left[X^{(1)}\right] = \mu\) и ковариационной матрицей \(\Sigma\). Тогда \[ \sqrt{n}\left(\frac{X^{(1)} + \ldots + X^{(n)}}{n} - \mu \right) \xrightarrow {d} \mathscr {N}\left(0, \Sigma \right). \]

Доказательство — бесплатное приложение всего построенного: по критерию линейных комбинаций (теорема Теорема 4) и теореме Леви достаточно проверить сходимость ХФ в каждой точке \(t\), а это — одномерная ЦПТ для проекций \(t^T X^{(i)}\) (приём Крамера–Уолда). Предельная зависимость координат — в точности ковариационная.

10 Задачи

ProblemЗадача 1

Пусть \(Y_1, Y_2 \sim \mathscr {N}\left(0, 1\right)\) независимы, \[ X_1 = Y_1 - Y_2 + 1, \qquad X_2 = 2Y_1 + Y_2, \qquad X_3 = X_1 + X_2. \] Найдите \(\mu = \mathbb {E}\left[X\right]\) и \(\Sigma = \operatorname {Var}\left[X\right]\) для \(X = (X_1, X_2, X_3)\). Каков ранг \(X\)? Опишите носитель распределения как аффинное подпространство в \(\mathbb {R}^{3}\).

ProblemЗадача 2

Докажите «пятое определение»: вектор \(X\) гауссовский тогда и только тогда, когда существует ортогональная матрица \(C\) такая, что компоненты \(CX\) независимы и нормальны.

ProblemЗадача 3

\((X,Y)\) — гауссовский вектор с \(\operatorname {Var}\left[X\right]=\operatorname {Var}\left[Y\right]\). Докажите, что \(X+Y\) и \(X-Y\) независимы.

ProblemЗадача 4

Характеристическая функция вектора \((X, Y)\) равна \[ \varphi (t_1, t_2) = \exp \left(-\tfrac 12\left(2t_1^2 + a\, t_1 t_2 + 3 t_2^2\right)\right). \] При каких \(a\) это законная ХФ? При каком \(a\) величины \(X + 2Y\) и \(2X - Y\) независимы?

ProblemЗадача 5

\(X, Y \sim \mathscr {N}\left(0, \sigma^2\right)\) независимы. Докажите: (а) \(X/Y \sim \operatorname {Cauchy}(0,1)\); (б) \(\dfrac {X-Y}{X+Y} \sim \operatorname {Cauchy}(0,1)\).

ProblemЗадача 6*

10.1 Гауссовские маргиналы без совместной гауссовости, версия с порогом

Пусть \(X \sim \mathscr {N}\left(0, 1\right)\), \(c > 0\), и \[ Y = \begin{cases} X, & \left|X\right| \leq c, \\ -X, & \left|X\right| > c. \end{cases} \] Докажите: (а) \(Y \sim \mathscr {N}\left(0, 1\right)\); (б) вектор \((X, Y)\) не гауссовский; (в) существует \(c_0\), при котором \(X\) и \(Y\) некоррелированы, но зависимы.

ProblemЗадача 7

Кубик бросают \(n\) раз; \(\nu_j\) — число выпадений грани \(j\). Найдите предельное распределение вектора \[ \zeta _n = \sqrt{n}\left(\frac{\nu _1}{n} - \frac16, \; \frac{\nu _2}{n} - \frac16\right). \] Каков ранг предельного распределения полного вектора всех шести частот?