(*) Ковариационные ядра и стационарные гауссовские процессы
Этот конспект ещё находится в процессе редактуры: в тексте могут встречаться опечатки, неточности и локально не проработанные места. Если что-то нашли — сообщите, пожалуйста, автору (контакты на странице курса).
Эта глава – необязательное дополнение к главе о гауссовских процессах. Мы посмотрим на ковариационные функции как на самостоятельный объект – ядро – и разберемся:
какие функции вообще могут быть ковариационными, и как из простых ядер собирать сложные;
что такое стационарность, и как она через теоремы Герглотца и Бохнера связана с гармоническим анализом и спектральной теорией операторов в гильбертовых пространствах;
как обусловливание гауссовских векторов превращает гауссовский процесс в инструмент нелинейной регрессии (основной способ применения гауссовских процессов в машинном обучении).
Часть материала и картинок вдохновлены интерактивной статьей (Görtler и др. 2019 г.) – очень рекомендуется открыть ее параллельно с чтением: почти каждый рисунок этой главы там можно <<покрутить руками>>. Строгую теорию стационарных процессов можно найти в (Булинский и Ширяев 2005 г.), регрессию на гауссовских процессах – в (Rasmussen и Williams 2006 г.).
1 Ядра
Напомним: распределение гауссовского процесса \((X_t, \; t \in T)\) полностью задается функцией среднего \(m(t) = \mathbb {E}\left[X_t\right]\) и ковариационной функцией \(K(s,t) = \operatorname {Cov}\left[ X_s, X_t \right]\). Функция среднего может быть какой угодно, поэтому всюду ниже считаем \(m \equiv 0\). А вот ковариационная функция какой угодно быть не может: например, матрица \(\left(K(t_i, t_j)\right)_{i,j}\) для любого набора моментов времени обязана быть ковариационной матрицей гауссовского вектора, т.е. симметричной и неотрицательно определенной.
Функция \(K: T \times T \to \mathbb {R}\) называется (симметричным неотрицательно определенным) ядром, если \(K(s,t) = K(t,s)\) и для любых \(n \in \mathbb {N}\), \(t_1, \ldots , t_n \in T\), \(c_1, \ldots , c_n \in \mathbb {R}\)
\[ \sum _{i=1}^{n}\sum _{j=1}^{n} c_i c_j K(t_i, t_j) \geq 0 \]
Иначе говоря, все матрицы \(\left(K(t_i,t_j)\right)_{i,j=1}^{n}\) неотрицательно определены. Оказывается, это единственное ограничение.
Для каждого конечного набора \(t_1 < \ldots < t_n\) возьмем в качестве конечномерного распределения гауссовское \(\mathscr {N}\left(\left(m(t_i)\right)_i, \left(K(t_i,t_j)\right)_{i,j}\right)\) (оно существует, поскольку матрица неотрицательно определена). Это семейство согласовано: маргинализация гауссовского вектора снова гауссовская, с вычеркнутыми компонентами среднего и вычеркнутыми строками/столбцами ковариационной матрицы. По теореме Колмогорова о согласованных распределениях (теорема Колмогорова о согласованных распределениях) существует процесс с такими конечномерными распределениями.
Итак, <<придумать гауссовский процесс>> \(=\) <<придумать ядро>>. Следующая лемма – главный технический инструмент для проверки того, что функция является ядром, и первый мост в функциональный анализ.
\((\Leftarrow )\) Симметричность очевидна, а неотрицательная определенность – это в точности неотрицательность квадрата нормы: \[ \sum _{i,j} c_i c_j \left\langle h_{t_i}, h_{t_j} \right\rangle = \left\| \sum _{i} c_i h_{t_i}\right\| ^2_H \geq 0 \] \((\Rightarrow )\) Возьмем гауссовский процесс \((X_t)\) с ковариационной функцией \(K\) (существует по теореме Теорема 1) и положим \(H := L^2(\Omega )\), \(h_t := X_t\). Тогда \(\left\langle X_s, X_t \right\rangle_{L^2} = \mathbb {E}\left[X_s X_t\right] = K(s,t)\).
Обратите внимание на смену точки зрения, которой мы будем пользоваться всю главу: случайный процесс – это кривая \(t \mapsto X_t\) в гильбертовом пространстве \(L^2(\Omega )\), а его ковариационная функция – это матрица Грама (набор попарных скалярных произведений) точек этой кривой. Вся <<\(L^2\)-геометрия>> процесса (расстояния \(\left\| X_t - X_s\right\|\), углы, проекции) закодирована в ядре.
Рисунок в разработке. Будет пересоздан как интерактивная фигура (Plotly/Three.js).
План: (в духе distill.pub) ползунки параметров ядра, теплокарта и выборки перестраиваются на лету; клик по паре (s,t) подсвечивает значение K(s,t) и соответствующую пару точек на траекториях.
Источник: courses/04_random_processes/latex_source/contents/specials/085/010_kernels_gallery_fig.tex
Эти операции – <<конструктор>> для моделирования: скажем, у временного ряда с трендом и сезонностью естественное ядро – сумма линейного и периодического, а если сезонные колебания усиливаются со временем – их произведение. Именно так подбираются ядра в статье (Görtler и др. 2019 г.) для реальных погодных данных.
Рисунок в разработке. Будет пересоздан как интерактивная фигура (Plotly/Three.js).
План: чекбоксы выбора ядер и операции (как в distill.pub), подгонка к реальному сезонному ряду.
Источник: courses/04_random_processes/latex_source/contents/specials/085/020_kernel_combinations_fig.tex
У леммы Лемма 1 есть каноническая, <<минимальная>> реализация без всякой теории вероятностей – гильбертово пространство с воспроизводящим ядром (reproducing kernel Hilbert space, RKHS). Рассмотрим линейную оболочку функций \(K(\cdot , t): T \to \mathbb {R}\), \(t \in T\), со скалярным произведением, заданным на образующих правилом \[ \left\langle K(\cdot , s), K(\cdot , t) \right\rangle _{H_K} := K(s,t) \] (корректность и неотрицательность формы – ровно неотрицательная определенность ядра). Пополнение дает гильбертово пространство функций \(H_K\), в котором роль \(h_t\) играют сами функции \(K(\cdot , t)\), а вычисление функции в точке оказывается скалярным произведением: \[ \left\langle f, K(\cdot , t) \right\rangle _{H_K} = f(t) \qquad \text{(\textit{воспроизводящее свойство})} \] Пространство \(H_K\) – это <<пространство гипотез>>, скрыто стоящее за многими методами машинного обучения с ядрами (SVM, гребневая регрессия с ядрами, и регрессия на гауссовских процессах из последнего параграфа этой главы). Любопытный факт: траектории гауссовского процесса с ядром \(K\) в \(H_K\) почти наверное не лежат – они <<чуть шершавее>> элементов \(H_K\) (см. (Rasmussen и Williams 2006 г., гл. 6)).
2 Стационарность, теоремы Герглотца и Бохнера
Процесс \((X_t, \; t \in T)\), \(T = \mathbb {R}\) или \(\mathbb {Z}\), называется стационарным в узком смысле, если все его конечномерные распределения инвариантны относительно сдвига времени:
\[ \operatorname {Law}\left(X_{t_1 + h}, \ldots , X_{t_n + h}\right) = \operatorname {Law}\left(X_{t_1}, \ldots , X_{t_n}\right), \qquad \forall t_i, h \]
Процесс из \(L^2\) называется стационарным в широком смысле, если сдвиги сохраняют лишь первые два момента: \(\mathbb {E}\left[X_t\right] = \operatorname {const}\) и ковариационная функция зависит только от разности аргументов,
\[ \operatorname {Cov}\left[ X_s, X_t \right] = R(t - s) \]
для некоторой функции \(R\), которую также называют ковариационной функцией (одного аргумента). Из узкой стационарности (при конечных вторых моментах) следует широкая; обратное в общем случае неверно. Но для гауссовских процессов эти понятия совпадают: конечномерные распределения гауссовского процесса определяются средним и ковариациями, поэтому инвариантность первых двух моментов влечет инвариантность всех распределений.
Функция \(R\) обязана быть положительно определенной: \(K(s,t) = R(t-s)\) – ядро, т.е. для любых \(t_1, \ldots , t_n\) и \(c_1, \ldots , c_n\)
\[ \sum _{i,j} c_i c_j R(t_i - t_j) \geq 0 \]
(i), (ii) очевидны. (iii) – неравенство Коши–Буняковского в \(L^2(\Omega )\): \(\left|R(\tau )\right| = \left|\left\langle X_\tau , X_0 \right\rangle \right| \leq \left\| X_\tau \right\| \left\| X_0\right\| = R(0)\). Пункт (iv) – маленькая демонстрация пользы гильбертовой точки зрения: \[ \left|R(\tau + h) - R(\tau )\right| = \left|\left\langle X_{\tau +h} - X_\tau , X_0 \right\rangle \right| \leq \left\| X_{\tau + h} - X_{\tau }\right\| \cdot \left\| X_0\right\| = \sqrt{2\left(R(0) - R(h)\right)}\cdot \sqrt{R(0)} \] и правая часть не зависит от \(\tau\) и стремится к нулю при \(h \to 0\).
2.1 Стационарность глазами функционального анализа
Продолжим смотреть на процесс как на кривую \(t \mapsto X_t\) в гильбертовом пространстве \(H = L^2(\Omega )\). Стационарность в широком смысле означает: сдвиг времени сохраняет все попарные скалярные произведения точек кривой. Отсюда один шаг до операторов. Пусть \(H_X := \overline{\left\langle X_t, \; t \in T\right\rangle } \subseteq L^2(\Omega )\) – замкнутая линейная оболочка значений процесса. Определим оператор сдвига на образующих:
\[ U_h\left(\sum _k c_k X_{t_k}\right) := \sum _k c_k X_{t_k + h} \]
Корректность и изометричность этого определения – в точности стационарность:
\[ \left\| \sum _k c_k X_{t_k + h}\right\| ^2 = \sum _{k,l} c_k c_l R(t_k - t_l) = \left\| \sum _k c_k X_{t_k}\right\| ^2 \]
Продолжая по непрерывности на \(H_X\), получаем группу унитарных операторов \((U_h)\), причем \(X_t = U_t X_0\). Итого:
стационарный процесс в дискретном времени – это орбита \(X_n = U^n X_0\) одного унитарного оператора \(U\) (примененного к одному вектору \(X_0\));
стационарный процесс в непрерывном времени – орбита однопараметрической группы унитарных операторов, \(X_t = U_t X_0\).
А для унитарных операторов в функциональном анализе есть спектральная теорема: любой унитарный оператор – это <<умножение на \(e^{i\lambda }\)>> в подходящем представлении. Значит, вся структура стационарного процесса должна описываться некоторой мерой на частотах \(\lambda\). Так и есть, и в этом состоят теоремы Герглотца (дискретное время) и Бохнера (непрерывное).
\((\Leftarrow )\) Прямая проверка – квадрат модуля под интегралом: \[ \sum _{j,k} c_j c_k R(n_j - n_k) = \int _{[-\pi ,\pi )} \sum _{j,k} c_j c_k e^{i n_j \lambda } e^{-i n_k \lambda } \, \mu (d\lambda ) = \int _{[-\pi ,\pi )} \left|\sum _j c_j e^{in_j\lambda }\right|^2 \mu (d\lambda ) \geq 0 \] \((\Rightarrow )\) Идея: предъявить спектральную меру как предел явно выписываемых плотностей (это конструкция Фейера из гармонического анализа). Для \(N \in \mathbb {N}\) положим \[ f_N(\lambda ) := \frac{1}{2\pi N} \sum _{j=0}^{N-1}\sum _{k=0}^{N-1} R(j-k)\, e^{-ij\lambda } e^{ik\lambda } \geq 0 \] – это положительно определенная форма с коэффициентами \(c_j = e^{-ij\lambda }\) (положительная определенность для комплексных коэффициентов получается применением вещественной к парам \((\operatorname {Re}, \operatorname {Im})\)). Группируя слагаемые по \(n = j - k\): \[ f_N(\lambda ) = \frac{1}{2\pi }\sum _{\left|n\right| < N} \left(1 - \frac{\left|n\right|}{N}\right) R(n)\, e^{-in\lambda } \] Рассмотрим меры \(\mu_N(d\lambda ) := f_N(\lambda )\, d\lambda\) на \([-\pi , \pi )\). Их полные массы равномерно ограничены: при интегрировании по \([-\pi ,\pi )\) выживает только слагаемое с \(n = 0\), поэтому \(\mu_N\left([-\pi ,\pi )\right) = R(0)\). По теореме Хелли (слабая-* компактность шара в пространстве мер – знакомая вам по функциональному анализу теорема Банаха–Алаоглу в исполнении для мер) найдется подпоследовательность \(\mu_{N_m}\), слабо сходящаяся к некоторой конечной мере \(\mu\). Осталось вычислить коэффициенты Фурье предела. Для фиксированного \(n\) функция \(e^{in\lambda }\) непрерывна, и \[ \int e^{in\lambda }\mu _{N_m}(d\lambda ) = \left(1 - \frac{\left|n\right|}{N_m}\right) R(n) \xrightarrow [m \to \infty ]{} R(n), \] а слева по слабой сходимости предел равен \(\int e^{in\lambda }\mu (d\lambda )\). Для четной вещественной \(R\) симметризация \(\tilde\mu (A) = \frac{1}{2}\left(\mu (A) + \mu (-A)\right)\) не меняет интегралов от \(\cos\) и убивает интегралы от \(\sin\).
Доказательство аналогично теореме Герглотца (то же ядро Фейера, но на всей прямой; некомпактность \(\mathbb {R}\) требует дополнительной аккуратности – нужно проверить, что масса мер \(\mu_N\) не убегает на бесконечность, здесь и используется непрерывность \(R\) в нуле). См., например, (Булинский и Ширяев 2005 г.).
С операторной точки зрения обе теоремы – частные случаи спектральной теоремы. В дискретном времени: \(R(n) = \left\langle U^n X_0, X_0 \right\rangle\), и спектральная теорема для унитарного оператора \(U\) дает проекторнозначную меру \(E(d\lambda )\) на единичной окружности с \(U^n = \int e^{in\lambda } E(d\lambda )\); тогда \(\mu (A) = \left\| E(A)X_0\right\|^2\) – та самая спектральная мера. В непрерывном времени то же самое делает теорема Стоуна об однопараметрических группах унитарных операторов. Цепочка соответствий:
| матрица Грама векторов в\(H\) | ковариационное ядро\(K(s,t)\) |
| кривая с грамианом, зависящим от разности | стационарный процесс |
| унитарная группа, орбита\(U_t X_0\) | сдвиг времени |
| спектральная теорема (Герглотц/Бохнер/Стоун) | спектральная мера процесса |
| унитарная эквивалентность\(H_X \cong L^2(\mu )\) | спектральное представление (см. ниже) |
И еще одно соответствие, теперь с теорией вероятностей: непрерывная положительно определенная функция с \(R(0) = 1\) – это по теореме Бохнера в точности характеристическая функция вероятностной меры \(\mu\). Таблица характеристических функций из курса теории вероятностей – это одновременно таблица ковариационных функций стационарных процессов!
Рисунок в разработке. Будет пересоздан как интерактивная фигура (Plotly/Three.js).
План: выбор R из списка – спектральная мера перестраивается; ползунок масштаба времени (сжатие R растягивает спектр).
Источник: courses/04_random_processes/latex_source/contents/specials/085/030_spectral_pairs_fig.tex
2.2 Спектральное представление процесса
Теоремы Герглотца и Бохнера описывают спектральное разложение ковариационной функции. Оказывается, спектральное разложение есть и у самого процесса, и строится оно одной изометрией.
Пусть \((X_t)\) – центрированный стационарный процесс со спектральной мерой \(\mu\). Рассмотрим отображение
\[ V: \quad \sum _k c_k X_{t_k} \; \longmapsto \; \sum _k c_k e^{i t_k \lambda } \qquad \text{(функция переменной } \lambda \text{)} \]
Это изометрия из \(\left\langle X_t\right\rangle\) в \(L^2(\mu )\) – нормы совпадают по теореме Бохнера:
\[ \left\| \sum _k c_k X_{t_k}\right\| _{L^2(\Omega )}^2 = \sum _{k,l} c_k c_l R(t_k - t_l) = \int \left|\sum _k c_k e^{it_k\lambda }\right|^2 \mu (d\lambda ) = \left\| \sum _k c_k e^{it_k\lambda }\right\| ^2_{L^2(\mu )} \]
Тригонометрические полиномы плотны в \(L^2(\mu )\) (мера конечна), поэтому \(V\) продолжается до унитарного изоморфизма \(H_X \cong L^2(\mu )\), при котором \(X_t \leftrightarrow e^{it\lambda }\). Вся \(L^2\)-теория стационарного процесса – это теория кривой \(e^{it\lambda }\) в \(L^2(\mu )\)!
Обратный образ индикаторов, \(Z(A) := V^{-1}\left(\; \mathbb {1}_{A}\right)\), – это ортогональная случайная мера: \(\mathbb {E}\left[Z(A)\overline{Z(B)}\right] = \left\langle \; \mathbb {1}_{A}, \; \mathbb {1}_{B} \right\rangle_{L^2(\mu )} = \mu (A \cap B)\), и равенство \(X_t = V^{-1}(e^{it\lambda })\) записывают в виде стохастического интеграла
\[ X_t = \int _{\mathbb {R}} e^{it\lambda } \, Z(d\lambda ) \qquad \text{(\textit{спектральное представление Крамера})} \]
Читается так: всякий стационарный процесс – это <<континуальная суперпозиция гармоник \(e^{it\lambda }\) со случайными некоррелированными амплитудами>>, причем средний квадрат амплитуды на частотах из \(A\) равен \(\mu (A)\). Когда спектр атомарный, интеграл превращается в ряд: для вещественного гауссовского процесса
\[ X_t = \sum _k \left(\xi _k \cos (\lambda _k t) + \eta _k \sin (\lambda _k t)\right), \qquad \xi _k, \eta _k \sim \mathscr {N}\left(0, \sigma _k^2\right) \text{ независимы,} \]
– ряд из функций со случайными коэффициентами, как при построении ВП (раздел Построение винеровского процесса), только теперь базисные функции – синусоиды, и процесс получается стационарным.
2.3 Спектр и гладкость траекторий
Спектральная мера отвечает на вопрос, который трудно разглядеть в самой ковариационной функции: насколько гладок процесс. Логика простая: гладкость – это малость вклада высоких частот.
Работаем в спектральном представлении: изометрия \(V\) переводит \(\frac{X_{t+h}-X_t}{h}\) в функцию \(e^{it\lambda }\frac{e^{ih\lambda }-1}{h} \in L^2(\mu )\). Заметим, что \(\left|\frac{e^{ih\lambda }-1}{h}\right| = \frac{2\left|\sin (h\lambda /2)\right|}{\left|h\right|} \leq \left|\lambda \right|\), причем \(\frac{e^{ih\lambda }-1}{h} \to i\lambda\) поточечно при \(h \to 0\).
Если \(\int \lambda^2 d\mu < \infty\), то по теореме о мажорируемой сходимости (мажоранта \(2\left|\lambda \right|\), она в \(L^2(\mu )\)) функции \(e^{it\lambda }\frac{e^{ih\lambda }-1}{h}\) сходятся в \(L^2(\mu )\) к \(i\lambda e^{it\lambda }\); по изометрии разностные отношения сходятся в \(L^2(\Omega )\), и
\[ \mathbb {E}\left[(X_t')^2\right] = \left\| i\lambda e^{it\lambda }\right\| ^2_{L^2(\mu )} = \int \lambda ^2\, \mu (d\lambda ) \]
Обратно: если разностные отношения сходятся в \(L^2(\Omega )\), их нормы ограничены, т.е. \(\sup_h \int \frac{4\sin^2(h\lambda /2)}{h^2}\mu (d\lambda ) < \infty\); по лемме Фату (вдоль \(h \to 0\)) \(\int \lambda^2 d\mu \leq \varliminf < \infty\). Равенство \(\int \lambda^2 d\mu = -R''(0)\) получается двукратным дифференцированием \(R(\tau ) = \int e^{i\tau \lambda }d\mu\) под знаком интеграла (законным при \(\int \lambda^2 d\mu <\infty\)).
Примеры:
ОУ: \(\int \lambda^2 \frac{d\lambda }{\pi (1+\lambda^2)} = \infty\) – процесс Орнштейна–Уленбека не дифференцируем (его траектории локально устроены как траектории ВП);
RBF: у гауссовской спектральной плотности конечны все моменты – процесс дифференцируем в среднем квадратичном бесконечное число раз (и его траектории даже вещественно-аналитичны);
между этими крайностями лежит семейство ядер Матерна с параметром гладкости \(\nu > 0\): спектральная плотность убывает степенным образом, \(f(\lambda ) \propto \left(1 + \lambda^2/\alpha^2\right)^{-\nu - 1/2}\), и процесс дифференцируем \(k\) раз тогда и только тогда, когда \(\nu > k\). При \(\nu = \frac{1}{2}\) получается ровно ОУ, при \(\nu \to \infty\) – RBF. В прикладных задачах ядра Матерна с \(\nu = \frac{3}{2}, \frac{5}{2}\) часто предпочитают RBF: бесконечная гладкость – слишком сильное предположение о данных.
3 Обусловливание и регрессия на гауссовских процессах
Гауссовский мир замкнут относительно двух операций: маргинализации (проекции на часть координат) и обусловливания. Первое мы уже использовали в теореме Теорема 1; второе – главный вычислительный козырь гауссовских процессов, и формулы здесь выписываются явно.
Прием тот же, что при интерполяции ВП: вычтем из \(X\) его <<проекцию на \(Y\)>>. Положим \[ Z := X - \mu _X - \Sigma _{XY}\Sigma _{YY}^{-1}(Y - \mu _Y) \] Вектор \((Z, Y)\) гауссовский (линейное преобразование гауссовского), и \[ \operatorname {Cov}\left[ Z, Y \right] = \Sigma _{XY} - \Sigma _{XY}\Sigma _{YY}^{-1}\Sigma _{YY} = 0 \] – для гауссовского вектора некоррелированность означает независимость: \(Z \perp Y\). Тогда при условии \(Y = y\) распределение \(X = \mu_X + \Sigma_{XY}\Sigma_{YY}^{-1}(y - \mu_Y) + Z\) – это распределение \(Z\), сдвинутое на константу, т.е. гауссовское со средним \(\mu_X + \Sigma_{XY}\Sigma_{YY}^{-1}(y-\mu_Y)\) и ковариацией \[ \operatorname {Var}\left[Z\right] = \Sigma _{XX} - 2\Sigma _{XY}\Sigma _{YY}^{-1}\Sigma _{YX} + \Sigma _{XY}\Sigma _{YY}^{-1}\Sigma _{YY}\Sigma _{YY}^{-1}\Sigma _{YX} = \Sigma _{XX} - \Sigma _{XY}\Sigma _{YY}^{-1}\Sigma _{YX} \qedhere \]
Рисунок в разработке. Будет пересоздан как интерактивная фигура (Plotly/Three.js).
План: (в духе distill.pub) перетаскивание среза x1=a и ручек ковариации, условная плотность перестраивается.
Источник: courses/04_random_processes/latex_source/contents/specials/085/040_conditioning_2d_fig.tex
Рисунок в разработке. Будет пересоздан как интерактивная фигура (Plotly/Three.js).
План: (в духе distill.pub) клик добавляет/убирает точки данных, ползунки l и psi, полоса и выборки пересчитываются на лету.
Источник: courses/04_random_processes/latex_source/contents/specials/085/050_gp_regression_fig.tex
Несколько замечаний.
При \(\psi = 0\) (наблюдения без шума) апостериорное среднее интерполирует данные: \(m(t_i) = y_i\) и \(\sigma (t_i) = 0\). При \(\psi > 0\) кривая проходит лишь вблизи точек, а дисперсия в них не обнуляется.
Вдали от данных \(k_* \approx 0\) (для убывающих ядер типа RBF): прогноз возвращается к априорному, \(m \approx 0\), \(\sigma^2 \approx k_{**}\). Модель честно сообщает, что ничего не знает.
Выбор ядра \(=\) выбор априорных представлений о функции: RBF – <<функция гладкая>>, Матерн – <<функция \(\lceil \nu \rceil {-}1\) раз дифференцируемая>>, периодическое – <<функция сезонная>>, а их суммы и произведения кодируют комбинации гипотез (рис. @020_kernel_combinations_fig). Параметры ядра (\(\ell\), \(P\), \(\sigma\), \(\psi\)) обычно подбирают, максимизируя правдоподобие наблюдений.
Цена вопроса – обращение матрицы \(\mathbf{K} + \psi^2 E\), т.е. \(O(n^3)\) операций по числу наблюдений. Это главный практический недостаток метода на больших данных.
Наконец, замкнем круг. Семплирование траектории из априорного гауссовского процесса – это в точности конструкция из раздела Построение винеровского процесса: ряд по базису с независимыми гауссовскими коэффициентами (на практике – его конечномерная версия через разложение Холецкого ковариационной матрицы на сетке). Спектральное представление Крамера – та же конструкция для стационарных процессов, с гармониками \(e^{it\lambda }\) в роли базисных функций. А регрессия из этого параграфа – это интерполяционная формула, которой мы делили отрезки при обсуждении построений ВП, доведенная до общего ядра \(K\) и зашумленных данных.