Этот конспект ещё находится в процессе редактуры: в тексте могут встречаться опечатки, неточности и локально не проработанные места. Если что-то нашли — сообщите, пожалуйста, автору (контакты на странице курса).
Продолжим исследование асимптотических свойств различных оценок. Предположим у нас есть выборка \(X_1, \ldots , X_n\) из распределения \(\mathscr {N}\left(0, \sigma^2\right)\) с неизвестным параметром \(\sigma > 0\), который мы хотим оценить. Напомним, что
\[
\begin{align} \mathbb {E}\left[X^p\right] = \begin{cases} 0, & p \text{ -- нечетное} \\ \sigma ^p (p-1)!!, & p \text{ -- четное} \end{cases} \end{align}
\]
В частности, \(\mathbb {E}\left[X_1^2\right] = \sigma^2, \mathbb {E}\left[X_1^4\right] = 3\sigma^4\). Выборочные средние примерно совпадают с соответствующими матожиданиями, \(\overline{X^2} \approx \mathbb {E}\left[X_1^2\right] = \sigma^2, \overline{X^4} \approx \mathbb {E}\left[X_1^4\right] = 3\sigma^4\). Следовательно, можно попробовать оценить \(\sigma\) сразу несколькими способами:
\[
\widehat{\sigma }_1(X) = \sqrt{\overline{X^2}}, \quad \widehat{\sigma }_2(X) = \sqrt{\frac{\overline{X^4}}{3\overline{X^2}}}, \quad \widehat{\sigma }_3(X) = \sqrt[4]{\frac{\overline{X^4}}{3}}, \quad \ldots
\]
Можно рассчитывать, что эти статистики будут примерно равны неизвестному параметру \(\sigma\). Но будут ли они, например, асимптотически нормальными? Ведь нам известно, что в силу ЦПТ, примененной к квадратам и четвертым степеням исходной выборки, \(\overline{X^2}, \overline{X^4}\) – ас. нормальные оценки \(\sigma^2, 3\sigma^4\).
Для ответа на указанные вопросы нам требуется несколько новых инструментов. Во-первых, требуется теорема о т.н. наследовании асимптотической нормальности, т.е. некое утверждение, которое бы давало асимптотическую нормальность оценки \(f(\widehat{\theta })\) для некоторой функции \(f\), если нам известна асимптотическая нормальность \(\widehat{\theta }\). Такое утверждение бы помогло в ответе на вопрос об ас. нормальности \(\widehat{\sigma }_1\), \(\widehat{\sigma }_3\).
Во-вторых, выборки \((X_1^2, X_2^2, \ldots , X_n^2)\) и \((X_1^4, X_2^4, \ldots , X_n^4)\) зависимы между собой. Нельзя рассчитывать, что применение ЦПТ по отдельности к каждой из выборок приведет к точному ответу на вопрос о предельном распределении
\[
\widehat{\sigma }_2 = \sqrt{\frac{\overline{X^4}}{3\overline{X^2}}}
\]
Требуется некий новый вариант ЦПТ, который бы учитывал эти зависимости, который бы ответил на вопрос о предельном распределении двумерного случайного вектора \((\overline{X^2}, \overline{X^4})^T\). Требуется многомерный вариант ЦПТ, который бы мы применили к (бесконечной) выборке из 2-мерного распределения
\[
\begin{pmatrix} X_1^2 \\ X_1^4\end{pmatrix}, \begin{pmatrix} X_2^2 \\ X_2^4\end{pmatrix}, \begin{pmatrix} X_3^2 \\ X_3^4\end{pmatrix}, \ldots , \begin{pmatrix} X_n^2 \\ X_n^4\end{pmatrix}, \ldots .
\]
Для этого нам требуется дать определение сходимостям случайных векторов.
Сходимости случайных векторов
Сходимости в многомерном случае аналогичны одномерному.
Определение 1 Пусть \(\left\{ \xi^{(n)}\right\}_{n \in \mathbb {N}}\) – последовательность случайных векторов размерности \(m\), заданных на одном ВП \((\Omega , \mathcal{F}, \mathbb {P})\), \(\xi^{(n)} = (\xi^{(n)}_1, \ldots , \xi^{(n)}_m)^T\).
Последовательность \(\xi^{(n)}\) сходится почти наверное к случайному вектору \(\xi\) при \(n \rightarrow \infty\) (пишут \(\xi^{(n)} \stackrel{\text{ п.н. }}{\longrightarrow } \xi\)), если
\[
\mathbb {P}\left(\omega : \lim _{n \to \infty } \xi ^{(n)}(\omega ) = \xi (\omega )\right) = 1
\]
Последовательность \(\xi^{(n)}\) сходится по вероятности к случайному вектору \(\xi\) при \(n \rightarrow \infty\) (пишут \(\xi^{(n)} \xrightarrow [n \to \infty ]{\mathbb {P}} \xi\)), если для любого \(\varepsilon >0\) выполнено
\[
\mathbb {P}\left(\left\| \xi ^{(n)} - \xi \right\| _{2} \geq \varepsilon \right) \xrightarrow [n \to \infty ]{} 0,
\]
где
\[
\left\| \overrightarrow {x}\right\| _{p} := \sqrt[p]{\left|x_1\right|^p + \ldots + \left|x_m\right|^p}
\]
для \(\overrightarrow {x} = (x_1, \ldots , x_m) \in \mathbb {R}^{m}\).
Заметим, что вместо нормы \(\left\| \cdot \right\|_{2}\) можно было использовать любую другую норму \(\left\| \cdot \right\|_{p}, \; p \geq 1\) и даже \(\left\| \overrightarrow {x}\right\|_{\infty } = \max \left\{ \left|x_i\right|, \; i = 1, \ldots , m\right\}\), поскольку в конечномерных пространствах все нормы эквивалентны.
Последовательность \(\xi^{(n)}\) сходится в лебеговом пространстве \(L^{p}\) к случайному вектору \(\xi\) при \(n \rightarrow \infty\) (пишут \(\xi^{(n)} \xrightarrow [n \to \infty ]{L^{p}} \xi\)), если
\[
\mathbb {E}\left[\left\| \xi ^{(n)} - \xi \right\| _{p}^p\right] \xrightarrow [n \to \infty ]{} 0,
\]
Последовательность \(\xi^{(n)}\) сходится по распределению к случайному вектору \(\xi\) при \(n \rightarrow \infty\) (пишут \(\xi^{(n)} \xrightarrow [n \to \infty ]{d} \xi\)), если для любой ограниченной непрерывной функции \(f: \mathbb {R}^{m} \to \mathbb {R}\) выполнено
\[
\mathbb {E}\left[f(\xi ^{(n)})\right] \xrightarrow [n \to \infty ]{} \mathbb {E}\left[f(\xi )\right]
\]
Равносильное определение: \(\xi^{(n)} \xrightarrow [n \to \infty ]{d} \xi\), если функции распределения \(\xi^{(n)}\)
\[
F_{\xi ^{(n)}}(\overrightarrow {x}) = \mathbb {P}\left(\xi ^{(n)}_1 \leq x_1, \xi ^{(n)}_2 \leq x_2, \ldots , \xi ^{(n)}_m \leq x_m\right)
\]
сходятся к функции распределения \(\xi\) во всех точках непрерывности последней:
\[
F_{\xi ^{(n)}}(\overrightarrow {x}) \xrightarrow [n \to \infty ]{} F_{\xi }(\overrightarrow {x}), \quad \forall \overrightarrow {x} \text{ такого что } F_{\xi } \text{ непрерывна в } \overrightarrow {x}.
\]
Теорема 1 (О связях между различными сходимостями) Имеют место следующие импликации сходимостей
Импликация \(L^q \Rightarrow L^p\) при \(q \geq p \geq 1\) – это неравенство Ляпунова: \(\left(\mathbb {E}\left[\left|\cdot \right|^p\right]\right)^{1/p} \leq \left(\mathbb {E}\left[\left|\cdot \right|^q\right]\right)^{1/q}\), применённое к \(\left\| \xi^{(n)} - \xi \right\|_{p}\).
Теорема 2 (О связях между сходимостями векторов и компонент этих векторов) Пусть заданы случайные векторы \[
\xi = \begin{pmatrix} \xi _1 \\ \vdots \\ \xi _m \end{pmatrix}, \qquad \xi ^{(n)} = \begin{pmatrix} \xi ^{(n)}_1 \\ \vdots \\ \xi ^{(n)}_m \end{pmatrix}
\] где \(n \in \mathbb {N}\). Тогда для любого \(i = 1,\ldots ,m\) выполнено \[
\begin{align} \xi ^{(n)} \xrightarrow [n \to \infty ]{\text{п.н.}} \xi & \iff \xi ^{(n)}_i \xrightarrow [n \to \infty ]{\text{п.н.}} \xi _i, \\ \xi ^{(n)} \xrightarrow [n \to \infty ]{\mathbb {P}} \xi & \iff \xi ^{(n)}_i \xrightarrow [n \to \infty ]{\mathbb {P}} \xi _i, \\ \xi ^{(n)} \xrightarrow [n \to \infty ]{L^{p}} \xi & \iff \xi ^{(n)}_i \xrightarrow [n \to \infty ]{L^{p}} \xi _i, \\ \xi ^{(n)} \xrightarrow [n \to \infty ]{d} \xi & \Longrightarrow \xi ^{(n)}_i \xrightarrow [n \to \infty ]{d} \xi _i. \end{align}
\]
Заметим, что для сходимости по распределению теорема в обратную сторону неверна. Из сходимости по распределению случайных векторов следует покомпонентная сходимость, но обратное не всегда верно, что показывает следующий пример. Пусть \(\xi\) и \(\eta\) – независимые одинаково распределённые случайные величины. Пусть последовательности случайных величин \(\left\{ \xi^{(n)}\right\}_{n \in \mathbb {N}}\) и \(\left\{ \eta^{(n)}\right\}_{n \in \mathbb {N}}\) таковы, что \(\xi^{(n)}=\xi\) и \(\eta^{(n)}=\eta\) для любого \(n \in \mathbb {N}\). Тогда, очевидно, \(\xi^{(n)} \stackrel{d}{\rightarrow } \xi\) и \(\eta^{(n)} \stackrel{d}{\rightarrow } \xi\), так как \(\xi \stackrel{d}{=} \eta\) по условию. Но векторной сходимости нет: \(\left(\xi^{(n)}, \eta^{(n)}\right) \stackrel{d}{\not\to }(\xi , \xi )\), ведь \(\left(\xi^{(n)}, \eta^{(n)}\right) \stackrel{d}{\rightarrow }(\xi , \eta )\) и распределения векторов \((\xi , \eta )\) и \((\xi , \xi )\) не совпадают, так как все значения второго вектора почти наверное лежат на прямой \(y=x\), а для первого вектора это далеко не всегда так.
Однако если у нас есть 2 сходящиеся по распределению компоненты и если предел одной из них – константа, то в теореме Теорема 2 верна обратная импликация, о чем говорит следующая лемма.
Лемма 1 Пусть \(\eta^{(1)}, \eta^{(2)}, \ldots\) – последовательность сл. векторов размерности \(k\), сх. по распределению к \(\eta\): \[
\eta ^{(n)} \xrightarrow [n \to \infty ]{d} \eta
\] Пусть \(\zeta^{(1)}, \zeta^{(2)}, \ldots\) – последовательность сл. векторов размерности \(l\), сх. по распределению к какому-то константному вектору \(c = (c_1, \ldots , c_{l})^T \in \mathbb {R}^{l}\): \[
\zeta ^{(n)} \xrightarrow [n \to \infty ]{d} c.
\] Тогда сл. вектор \(\begin{pmatrix} \eta^{(n)} \\ \zeta^{(n)} \end{pmatrix}\) размерности \(k + l\) сходится по распределению к \(\begin{pmatrix} \eta \\ c \end{pmatrix}\): \[
\begin{pmatrix} \eta ^{(n)} \\ \zeta ^{(n)} \end{pmatrix} \xrightarrow [n \to \infty ]{d} \begin{pmatrix} \eta \\ c \end{pmatrix}.
\]
Функция распределения предельного вектора \((\eta , c)\) имеет вид
\[
F_{(\eta ,c)}(x,y) = \mathbb {P}\left(\eta \leq x, \, c \leq y\right) = F_\eta (x) \cdot \; \mathbb {1}_{y \geq c},
\]
поскольку \(c\) – неслучайный вектор. По определению сходимости по распределению через функции распределения достаточно проверить сходимость \(F_{(\eta^{(n)}, \zeta^{(n)})}(x,y) \to F_{(\eta ,c)}(x,y)\) во всех точках непрерывности \(F_{(\eta ,c)}\) – т.е. в точках \((x,y)\), где \(x\) – точка непрерывности \(F_\eta\), а \(y\) не лежит ни на одной из гиперплоскостей \(\left\{ y_i = c_i\right\}\), \(i = 1,\ldots ,l\). Зафиксируем такую точку \((x,y)\).
Случай \(y > c\) (покомпонентно строго). Из включений \(\left\{ \eta^{(n)} \leq x, \, \zeta^{(n)} \leq y\right\} \subset \left\{ \eta^{(n)} \leq x\right\}\) и \(\left\{ \eta^{(n)} \leq x\right\} \setminus \left\{ \zeta^{(n)} \leq y\right\} \subset \left\{ \zeta^{(n)} \not\leq y\right\}\) получаем оценку
\[
\mathbb {P}\left(\eta ^{(n)} \leq x\right) - \mathbb {P}\left(\zeta ^{(n)} \not\leq y\right) \; \leq \; F_{(\eta ^{(n)}, \zeta ^{(n)})}(x,y) \; \leq \; \mathbb {P}\left(\eta ^{(n)} \leq x\right).
\]
При \(n \to \infty\) обе крайние части стремятся к \(F_\eta (x)\): левая – поскольку \(x\) есть точка непрерывности \(F_\eta\), а \(\mathbb {P}\left(\zeta^{(n)} \not\leq y\right) \to \mathbb {P}\left(c \not\leq y\right) = 0\) (так как \(y > c\)); правая – по той же причине. По принципу двух милиционеров \(F_{(\eta^{(n)}, \zeta^{(n)})}(x,y) \to F_\eta (x) = F_{(\eta ,c)}(x,y)\).
Случай \(y_i < c_i\) для некоторого \(i\). Из \(\left\{ \zeta^{(n)} \leq y\right\} \subset \left\{ \zeta^{(n)}_i \leq y_i\right\}\) получаем
\[
0 \; \leq \; F_{(\eta ^{(n)}, \zeta ^{(n)})}(x,y) \; \leq \; \mathbb {P}\left(\zeta ^{(n)}_i \leq y_i\right) \xrightarrow [n \to \infty ]{} \mathbb {P}\left(c_i \leq y_i\right) = 0,
\]
поскольку \(y_i < c_i\). Значит, \(F_{(\eta^{(n)}, \zeta^{(n)})}(x,y) \to 0 = F_{(\eta ,c)}(x,y)\).
Эти два случая исчерпывают все точки непрерывности \(F_{(\eta ,c)}\) (в оставшихся точках либо \(y > c\), либо \(y_i < c_i\) хотя бы для одного \(i\)), что и завершает доказательство.
Докажите, что из сходимости последовательности \(m\)-мерных случайных векторов \(\xi^{(n)}\) к константе \(C \in \mathbb {R}^{m}\) по распределению следует сходимость \(\xi^{(n)} \stackrel{\mathbb {P}}{\rightarrow } C\).
Из теоремы Теорема 2 следует, что для любого \(i \in \{ 1, \ldots , m\}\) выполнено \(\xi^{(n)}_{i} \stackrel{d}{\rightarrow } C_i\), где \(\xi^{(n)}=\left(\xi^{(n)}_{1}, \ldots , \xi^{(n)}_{m}\right)^T, C=\left(C_{1}, \ldots , C_{m}\right)^T\). Из курса вероятности нам известно, что последняя сходимость влечет сходимость по вероятности: \(\xi^{(n)}_{i} \stackrel{\mathbb {P}}{\rightarrow } C_i\) для любого \(i \in \{ 1, \ldots , m\}\). Но тогда из теоремы Теорема 2 имеем \(\xi^{(n)} \stackrel{\mathbb {P}}{\rightarrow } C\).
Наследование сходимостей
Следующим важным результатом, который нам понадобится, является теорема о наследовании сходимостей.
Теорема 3 (о наследовании сходимостей/Манна-Вальда/о непрерывном отображении) Пусть \(\xi , \xi^{(1)}, \xi^{(2)}, \ldots\) – сл. векторы размерности \(m\), пусть \(h: \mathbb {R}^{m} \to \mathbb {R}^{s}\) – функция, непрерывная почти всюду относительно распределения случайной величины \(\xi\), т.е. существует такое множество \(B \in \mathscr {B}\left(\mathbb {R}^{m}\right), \; \mathbb {P}\left(\xi \in B\right) = 1\), что \(h\) непрерывна на \(B\). Тогда \[
\begin{align} \xi ^{(n)} \xrightarrow [n \to \infty ]{\text{п.н.}} \xi & \Longrightarrow h(\xi ^{(n)}) \xrightarrow [n \to \infty ]{\text{п.н.}} h(\xi ) \\ \xi ^{(n)} \xrightarrow [n \to \infty ]{\mathbb {P}} \xi & \Longrightarrow h(\xi ^{(n)}) \xrightarrow [n \to \infty ]{\mathbb {P}} h(\xi ) \\ \xi ^{(n)} \xrightarrow [n \to \infty ]{d} \xi & \Longrightarrow h(\xi ^{(n)}) \xrightarrow [n \to \infty ]{d} h(\xi ) \end{align}
\]
Следствие 1 Пусть имеем параметрическую модель \(\mathcal{P} = \left\{ \mathbb {P}_\theta , \theta \in \Theta \right\}\) и выборку \(X_1, X_2, \ldots\) из нее. Пусть \(\widehat{\theta }\) – состоятельная (сильно состоятельная) оценка \(\theta\). Пусть \(h: \Theta \to h(\Theta )\) – некоторое отображение, непрерывное на \(\Theta\). Тогда \(h(\widehat{\theta })\) является состоятельной (сильно состоятельной соотв.) оценкой \(h(\theta )\).
Сходимость в пространстве Лебега \(L^p\) наследуется чуть сложнее, хотя бы потому, что \(h(\xi )\) не всегда лежит в \(L^p\), даже если \(\xi\) из \(L^p\) и \(h\) всюду непрерывна. Однако если \(h: \mathbb {R}^{m} \to \mathbb {R}^{s}\) является липшицевой функцией:
\[
\exists C > 0: \; \left\| h(\overrightarrow {x}) - h(\overrightarrow {y})\right\| _{q} \leq C \cdot \left\| \overrightarrow {x} - \overrightarrow {y}\right\| _{p}
\]
\(\forall \overrightarrow {x}, \overrightarrow {y} \in \mathbb {R}^{m}\), то из сходимости \(\xi^{(n)}\) к \(\xi\) в \(L^p\) будет следовать сходимость в \(L^q\) для \(h(\xi^{(n)})\):
\[
\mathbb {E}\left[\left\| h(\xi ^{(n)}) - h(\xi )\right\| _{q}\right] \leq C \mathbb {E}\left[\left\| \xi ^{(n)} - \xi \right\| _{p}\right] \xrightarrow [n \to \infty ]{} 0
\]
Сходимости и арифметические операции
В силу теорем Теорема 2 и Теорема 3, из сходимости последовательностей случайных величин \(\xi^{(n)} \stackrel{\mathbb {P}}{\rightarrow } \xi\), \(\eta^{(n)} \stackrel{\mathbb {P}}{\rightarrow } \eta\) следуют сходимости
\[
\xi ^{(n)}+\eta ^{(n)} \stackrel{\mathbb {P}}{\rightarrow } \xi +\eta , \quad \xi ^{(n)} \eta ^{(n)} \stackrel{\mathbb {P}}{\rightarrow } \xi \eta .
\]
Для сходимости по распределению аналогичного вывода сделать нельзя, ведь, как мы уже знаем, из покомпонентной сходимости по распределению не следует сходимость векторов по распределению. Например, пусть \(\xi \sim \mathscr {N}\left(0, 1\right)\) – произвольная ст. норм. сл. величина, \(\xi_n := \xi \; \forall n \in \mathbb {N}\). Тогда можно записать
\[
\xi _n \xrightarrow [n\to \infty ]{d}\xi , \quad \xi _n \xrightarrow [n\to \infty ]{d} -\xi ,
\]
поскольку \(\left(-\xi \right) \sim \mathscr {N}\left(0, 1\right)\). Но
\[
\xi _n + \xi _n = 2\xi _n \stackrel{d}{\not\to } \xi - \xi = 0,
\]
поскольку \(2\xi_n = 2\xi \sim \mathscr {N}\left(0, 4\right)\).
Однако если одна из последовательностей сходится по распределению к константе, то справедливо следующее утверждение.
Теорема 4 (Слуцкого) Пусть \(\xi_n \xrightarrow [n \to \infty ]{d} \xi\) и \(\eta_n \xrightarrow {d} c \in \mathbb {R}\) – случайные величины. Тогда \[
\begin{align} \xi _n + \eta _n \xrightarrow [n \to \infty ]{d} \xi + c \\ \xi _n \eta _n \xrightarrow [n \to \infty ]{d} \xi c \end{align}
\]
Докажите теорему Слуцкого.
Используйте лемму Лемма 1 и теорему Теорема 3 о наследовании сходимости по распределению.
Наследование асимптотической нормальности, одномерный случай
Мы готовы перейти непосредственно к вопросу о наследовании асимптотической нормальности. Следствием теорем Теорема 3 и Теорема 4 является
Теорема 5 (Дельта-метод) Пусть \(\xi^{(n)} \stackrel{d}{\rightarrow } \xi\) – случайные векторы размерности \(m\), а \(h(x): \mathbb {R}^{m} \to \mathbb {R}\) – функция, дифференцируемая в точке \(\theta \in \mathbb {R}^{m}\). Пусть \(b_{n} \rightarrow 0\), \(b_{n} \neq 0\). Тогда
\[
\frac{h(\theta + \xi ^{(n)}b_n) - h(\theta )}{b_n} \xrightarrow [n \to \infty ]{d} \left\langle \xi , \nabla h|_{\theta } \right\rangle ,
\]
где \(\nabla h|_{\theta }\) – градиент функции \(h(x)\), взятый в точке \(\theta\), а правая часть – случайная величина (скалярное произведение вектора \(\xi\) на вектор \(\nabla h|_{\theta }\)).
В частности, если \(\xi^{(n)} \stackrel{d}{\rightarrow } \xi\) – случайные величины (\(m=1\)), а \(h(x): \mathbb {R} \to \mathbb {R}\) – функция, дифференцируемая в точке \(\theta \in \mathbb {R}\), то
\[
\frac{h(\theta + \xi ^{(n)}b_n) - h(\theta )}{b_n} \; \xrightarrow [n \to \infty ]{d} \; h'(\theta ) \cdot \xi .
\]
Теорема 6 (о наследовании асимптотической нормальности) Пусть \(\widehat{\theta } = \widehat{\theta }(X)\) – асимптотически нормальная оценка \(\theta\) с асимптотической дисперсией \(\sigma^2(\theta )\), а \(h(\theta )\) – дифференцируемая функция на \(\Theta \subset \mathbb {R}\), причем производная конечна и не равна нулю в каждой точке \(\theta \in \Theta\). Тогда \(h(\widehat{\theta })\) – асимптотически нормальная оценка \(h(\theta )\) с асимптотической дисперсией \(\sigma^{2}(\theta ) \cdot \left(h^{\prime }(\theta )\right)^{2}\).
Мы готовы перейти к ответу на вопрос об ас. нормальности \(\widehat{\sigma }_1\).
Пусть \(X_{1}, \ldots , X_{n}\) – выборка из \(\mathscr {N}\left(0, \sigma^2\right), \sigma > 0\). Найдите, для какого параметра оценка \(\widehat{\sigma }_1 = \sqrt{\overline{X^2}}\) явл. ас. нормальной, найдите ас. дисперсию.
Применим ЦПТ к \(X_n^2, \; n \in \mathbb {N}\). Напомним, что \(\mathbb {E}\left[X_1^2\right] = \sigma^2, \; \operatorname {Var}\left[X_1^2\right] = \mathbb {E}\left[X_1^4\right] - \left(\mathbb {E}\left[X_1^2\right]\right)^2 = 3\sigma^4 - \sigma^4 = 2\sigma^4\). Применим ЦПТ:
\[
\sqrt{n}\left(\overline{X^2} - \sigma ^2\right) \xrightarrow [n \to \infty ]{d} \mathscr {N}\left(0, 2\sigma ^4\right)
\]
Таким образом, \(\overline{X^2}\) – ас. нормальная оценка \(\sigma^2\) с ас. дисперсией \(2\sigma^4\).
Воспользуемся теоремой о наследовании ас. нормальности. Имеем
\[
\begin{align} h\left(\theta \right) & = \sqrt{\theta }, \quad h'(\theta ) = \frac{1}{2\sqrt{\theta }}, \quad h'(\sigma ^2) = \frac{1}{2\sigma } \end{align}
\]
\(h\) дифференцируема на \((0, +\infty )\), производная не обращается в ноль. Следовательно, \(\sqrt{\overline{X^2}}\) – ас. нормальная оценка \(\sigma\) с ас. дисперсией \(2\sigma^4 \cdot \left(\frac{1}{2\sigma }\right)^2 = \frac{1}{2}\sigma^2\):
\[
\sqrt{n}\left(\sqrt{\overline{X^2}} - \sigma \right) \xrightarrow [n\to \infty ]{d} \mathscr {N}\left(0, \frac{1}{2}\sigma ^2\right)
\]
Параметр \(\sigma\). Асимптотическая дисперсия \(\frac{1}{2}\sigma^2\).
Рассмотрим еще примеры.
Пусть \(X_1, \ldots , X_n\) – выборка из распределения с ненулевым математическим ожиданием \(a\) и дисперсией \(\sigma^{2}\). Является ли статистика \(1/\overline{X}\) асимптотически нормальной оценкой какого-то параметра? Если да, то какой будет асимптотическая дисперсия?
По центральной предельной теореме, \(\overline{X}\) – ас. нормальная оценка \(a\) с ас. дисперсией \(\sigma^2\):
\[
\sqrt{n} \left(\overline{X} - a\right) \xrightarrow [n \to \infty ]{d} \mathscr {N}\left(0, \sigma ^2\right)
\]
Далее воспользуемся теоремой о наследовании ас. нормальности. Имеем \(h(y) = \frac{1}{y}\). Эта функция дифференцируема на \(\mathbb {R} \setminus \left\{ 0\right\}\). При этом \(h'(y) = -\frac{1}{y^2}\). Следовательно, \(\frac{1}{\overline{X}}\) – ас. нормальная оценка \(\frac{1}{a}\) с ас. дисперсией \(\frac{\sigma^2}{a^4}\):
\[
\sqrt{n}\left(\frac{1}{\overline{X}} - \frac{1}{a}\right) \xrightarrow [n \to \infty ]{d} \mathscr {N}\left(0, \frac{\sigma ^2}{a^4}\right)
\]
Пусть \(X_{1}, \ldots , X_{n}\)- выборка из \(U[1+\theta , \theta (1+\theta )]\), равномерного распределения на отрезке \([1+\theta , \theta (1+\theta )], \theta >1\). Найдите асимптотически нормальную оценку параметра \(\theta\) и ее асимптотическую дисперсию.
Заметим, что \(\mathbb {E}\left[X_1\right] = \frac{(1+\theta )^2}{2} =: m(\theta )\). По центральной предельной теореме, \(\overline{X}\) – асимптотически нормальная оценка параметра \(m(\theta )\) с асимптотической дисперсией \(\sigma^{2}(\theta )=\frac{\left(\theta^{2}-1\right)^{2}}{12}\). Заметим, что \(m(\theta )\) принимает значения во множестве \((2, \infty )\). Положим \(h(x)=\sqrt{2 x}-1\) (дифференцируемая на \((2, \infty )\) функция). Тогда \(h'(x) = \frac{1}{\sqrt{2x}}\), откуда \(\left(h'(x)\right)^2 = \frac{1}{2x}\), и, подставляя \(x = m(\theta ) = \frac{(1+\theta )^2}{2}\):
\[
\left(\left.h^{\prime }\right|_{m(\theta )}\right)^{2} = \frac{1}{2m(\theta )} = \frac{1}{(1+\theta )^2}.
\]
По теореме о наследовании асимптотической нормальности, \(h(\overline{X})\) – асимптотически нормальная оценка \(\theta\) с асимптотической дисперсией
\[
\sigma ^{2}(\theta )\left(\left.h^{\prime }\right|_{m(\theta )}\right)^{2}=\frac{\left(\theta ^{2}-1\right)^{2}}{12} \cdot \frac{1}{(1+\theta )^2} = \frac{(\theta -1)^2(\theta +1)^2}{12(1+\theta )^2} = \frac{(\theta -1)^{2}}{12}
\]
Оценка \(\sqrt{2\overline{X}} - 1\), ас. дисперсия \(\frac{(\theta - 1)^2}{12}.\)
Пусть \(X_1, \dots , X_n\) – выборка из \(\operatorname {Exp}\left(\alpha \right), \alpha > 0\). Найдите такие константы \(a(\alpha ), \sigma^2(\alpha )\), что выполнено \[
\begin{align} \sqrt{n} (\overline{X} \sin (\overline{X}) - a(\alpha )) \xrightarrow [n \to \infty ]{d} \mathscr {N}\left(0, \sigma ^2(\alpha )\right) \end{align}
\]
Задана выборка \(X_{1}, \ldots , X_{n}\) из экспоненциального закона с параметром \(\lambda >0\). Для какой величины \(h(\lambda )\) статистика \(\bar{X} \ln \bar{X}\) является асимптотически нормальной оценкой? Вычислите асимптотическую дисперсию данной оценки.
Пусть \(X_{1}, \ldots , X_{n}\)- выборка из экспоненциального распределения с параметром \(\theta\). Покажите, что для любого \(k \in \mathbb {N}\) статистика \(\sqrt[k]{k ! / \overline{X^{k}}}\) является асимптотически нормальной оценкой параметра \(\theta\). Найдите ее асимптотическую дисперсию.
Все построенные выше оценки были асимптотически нормальны со скоростью \(\sqrt{n}\). Следующая задача показывает, что это верно далеко не всегда: для максимума выборки \(X_{(n)}\) и скорость сходимости, и предельное распределение оказываются совсем другими, так что дельта-метод в его нынешнем виде здесь неприменим.
Пусть \(X_{1}, \ldots , X_{n}\) – выборка из распределения \(U[0, \theta ]\) (равномерное распределение на отрезке \([0,\theta ]\)). Найдите такое число \(\delta >0\) и невырожденный закон распределения \(\mathbb {P}_{\theta }\) (т.е. не являющийся законом распределения константы), что \(n^{\delta }\left(X_{(n)}-\theta \right) \stackrel{d}{\longrightarrow } \xi \sim \mathbb {P}_\theta\) при \(n \rightarrow \infty\).
Постройте асимптотически нормальную оценку для \(b\) по выборке \(X_{1}, \ldots , X_{n}\) из распределения \[
\begin{align} \mathbb {P}\left(X_1 = 1\right) & = 1-a-a^{2}-6b, \\ \mathbb {P}\left(X_1 = 2\right) & = 5 b, \\ \mathbb {P}\left(X_1 = 5\right) & = a+a^{2}+b, \end{align}
\] где \(a, b\)- неизвестные положительные параметры.
Подберите такую функцию \(g\), чтобы \(\mathbb {E}\left[g(X_1)\right] = b\) при любых \(a, b\); например, квадратный трехчлен с корнями \(1\) и \(5\).
Задана выборка \(X_{1}, \ldots , X_{n}, X_{1}=\xi +\eta , \xi \sim U(0, \theta ), \eta \sim\) \(U(\theta , 2 \theta )\) – независимые случайные величины, где \(\theta >0\) – неизвестный параметр. Найдите асимптотически нормальную оценку \(\theta\) и ее асимптотическую дисперсию.
Рассмотрим пример применения дельта-метода, который оказывается полезен в машинном обучении.
Пусть \(X_{1}, \ldots , X_{n}\) – выборка из \(U[0,1]\), то есть \((X_1, \ldots , X_n)^T\) – это случайная точка из куба \([0,1]^n\) с равномерным распределением. Рассмотрим статистику \[
N = N_n := \sqrt{X_1^2 + \ldots + X_n^2}
\] – \(2\)-норма вектора, т.е. евклидово расстояние от нуля до этой случайной точки. Найдите распределение \(N_n\) при больших \(n\).
Имеем
\[
\begin{align} \mathbb {E}\left[X_1^2\right] & = \int _0^1 x^2\, dx = \frac{1}{3}, \\ \mathbb {E}\left[X_1^4\right] & = \int _0^1 x^4\, dx = \frac{1}{5}, \\ \operatorname {Var}\left[X_1^2\right] & = \mathbb {E}\left[X_1^4\right] - \mathbb {E}\left[X_1^2\right]^2 = \frac{1}{5} - \frac{1}{9} = \frac{4}{45}. \end{align}
\]
По центральной предельной теореме, применённой к величинам \(X_1^2, \ldots , X_n^2\),
\[
\sqrt{n}\left(\frac{N_n^2}{n} - \frac{1}{3}\right) \xrightarrow [n \to \infty ]{d} \mathscr {N}\left(0, \frac{4}{45}\right).
\]
Теперь применим дельта-метод к функции \(h(\theta ) = \sqrt{\theta }\) в точке \(\theta = \frac{1}{3}\), поскольку \(h'(\theta ) = \frac{1}{2\sqrt\theta }\). Вычислим асимптотическую дисперсию: \(h'\left(\frac13\right) = \frac{1}{2\sqrt{1/3}} = \frac{\sqrt3}{2}\), откуда \(\left(h'\left(\frac13\right)\right)^2 = \frac34\), и
\[
\frac{4}{45} \cdot \left(h'\left(\tfrac 13\right)\right)^2 = \frac{4}{45}\cdot \frac34 = \frac{1}{15}.
\]
Следовательно,
\[
\sqrt{n}\left(\frac{N_n}{\sqrt{n}} - \sqrt{\frac{1}{3}}\right) \xrightarrow [n \to \infty ]{d} \mathscr {N}\left(0, \frac{1}{15}\right).
\]
Заметим, что слева, после умножения на \(\sqrt{n}\), стоит выражение \(N_n - \sqrt{n/3}\). То есть приблизительно (для больших \(n\))
\[
\operatorname {Law}(N_n) \approx \mathscr {N}\left(\sqrt{n/3}, \frac{1}{15}\right),
\]
иными словами, \(N_n\) примерно нормально распределено с математическим ожиданием \(\sqrt{n/3}\) и со стандартным отклонением \(\sqrt{1/15} \approx 0.26\).
Получается любопытная геометрическая картина: случайная точка в гиперкубе \([0,1]^n\) при больших \(n\) лежит практически на поверхности сферы с центром в нуле и радиусом \(\sqrt{n/3}\). При этом стандартное отклонение расстояния от \(n\) почти не зависит и составляет около \(0.26\). Для больших \(n\) это отклонение оказывается исключительно малым по сравнению со средним расстоянием \(\sqrt{n/3}\), которое растёт неограниченно.
Вывод для машинного обучения. В пространствах высокой размерности почти все точки выборки оказываются на сопоставимом, практически одинаковом расстоянии друг от друга и от начала координат. Это явление – одна из граней проклятия размерности: методы, основанные на понятии расстояния (например, метод \(k\) ближайших соседей или кластеризация по евклидовой метрике), теряют смысл, поскольку расстояния между точками перестают быть информативными – “близкие” и “далёкие” точки практически не отличаются друг от друга.
Пусть \((X_1, \ldots , X_n)^T\) и \((Y_1, \ldots , Y_n)^T\) – это 2 независимые случайные точки из гиперкуба \([0,1]^n\) с равномерным распределением. Рассмотрим статистику \[
D = D_n := \sqrt{(X_1 - Y_1)^2 + \ldots + (X_n- Y_n)^2}
\] – евклидово расстояние между ними. Найдите распределение \(D_n\) при больших \(n\).
Предельные теоремы для случайных векторов
Для случайных векторов остаются верны предельные теоремы, аналогичные соответствующим теоремам для случайных величин: закон больших чисел, усиленный закон больших чисел, центральная предельная теорема. Приведем их формулировки. Далее для случайного вектора \(\xi\) мы будем писать \(\mathbb {E}\left[\xi \right]\), подразумевая вектор, составленный из математических ожиданий компонент вектора \(\xi\).
Теорема 7 (многомерный аналог закона больших чисел) Пусть \(\left\{ \xi^{(n)}\right\}_{n \in \mathbb {N}}-\) независимые случайные векторы, дисперсия каждой компоненты каждого случайного вектора ограничена константой \(C\). Тогда \[
\frac{\xi ^{(1)}+\ldots +\xi ^{(n)}-\mathbb {E}\left[\xi ^{(1)}+\ldots +\xi ^{(n)}\right]}{n^{0.5+\delta }} \xrightarrow [n \to \infty ]{\mathbb {P}} 0,
\] где \(\delta\)- произвольное положительное число.
Теорема 8 (многомерный аналог усиленного закона больших чисел) Пусть \(\left\{ \xi^{(n)}\right\}_{n \in \mathbb {N}}-\) независимые одинаково распределенные случайные векторы, математические ожидания всех компонент конечны и равны \(\mathbb {E}\left[\xi^{(1)}\right] = a\). Тогда \[
\frac{\xi ^{(1)}+\ldots +\xi ^{(n)}}{n} \xrightarrow [n \to \infty ]{\text{п.н.}} a
\]
Теорема 9 (многомерный аналог центральной предельной теоремы) Пусть \(\left\{ \xi^{(n)}\right\}_{n \in \mathbb {N}}-\) независимые одинаково распределенные случайные векторы, \(\mathbb {E}\left[\xi^{(1)}\right] = a\), матрица ковариаций случайного вектора \(\xi^{(1)}\) равна \(\operatorname {Var}\left[\xi^{(1)}\right] = \Sigma\). Тогда \[
\sqrt{n}\left(\frac{\xi ^{(1)}+\ldots +\xi ^{(n)}}{n}-a\right) \stackrel{d}{\rightarrow } \eta \sim \mathcal{N}(0, \Sigma ),
\] где \(\mathcal{N}(0, \Sigma )\)- многомерное нормальное распределение (гауссовский вектор).
Наследование асимптотической нормальности, многомерный случай
Теперь мы почти готовы ответить на вопрос об ас. нормальности приведенной в начале главы оценки \(\widehat{\sigma }_2\). Последний шаг – сформулировать многомерный вариант теоремы о наследовании ас. нормальности.
Теорема 10 (о наследовании асимптотической нормальности, многомерный вариант) Пусть \(\widehat{\theta }(X)\) – асимптотически нормальная оценка \(k\)-мерного параметра \(\theta \in \Theta \subset \mathbb {R}^{k}\) с асимптотической ковариационной матрицей \(\Sigma (\theta )\), а \(h: \Theta \to \mathbb {R}\) – дифференцируемая функция на \(\Theta \subset \mathbb {R}^{k}\) (градиент \(\nabla h\) конечен и не равен нуль-вектору в каждой точке \(\theta \in \Theta )\). Тогда \(h\left(\widehat{\theta }(X)\right)\) – асимптотически нормальная оценка \(h(\theta )\) с асимптотической дисперсией \[
\left(\nabla h|_{\theta }\right)^T \cdot \Sigma \cdot \nabla h|_{\theta }
\]
Доказательство аналогично одномерному случаю.
Пусть \(X_{1}, \ldots , X_{n}\) – выборка из \(\mathscr {N}\left(0, \sigma^2\right)\). Найдите, для какого параметра оценка \(\widehat{\sigma }_2 = \sqrt{\frac{\overline{X^4}}{3\overline{X^2}}}\) явл. ас. нормальной, найдите ас. дисперсию.
Применим многомерную ЦПТ к \(\xi^{(n)} := (X_n^2, X_n^4)^T, \; n \in \mathbb {N}\). Найдем матожидание и ковариационную матрицу \(\xi^{(n)}\):
\[
\begin{align} \mathbb {E}\left[X_1^2\right] & = \sigma ^2, \quad \mathbb {E}\left[X_1^4\right] = 3\sigma ^4, \quad \mathbb {E}\left[X_1^6\right] = 15\sigma ^6, \quad \mathbb {E}\left[X_1^8\right] = 105\sigma ^8\\ \operatorname {Var}\left[X_1^2\right] & = \mathbb {E}\left[X_1^4\right] - \left(\mathbb {E}\left[X_1^2\right]\right)^2 = 2\sigma ^4, \quad \operatorname {Var}\left[X_1^4\right] = \mathbb {E}\left[X_1^8\right] - \left(\mathbb {E}\left[X_1^4\right]\right)^2 = 96\sigma ^8, \\ \operatorname {Cov}\left[ X_1^2, X_1^4 \right] & = \mathbb {E}\left[X_1^6\right] - \mathbb {E}\left[X_1^2\right]\mathbb {E}\left[X_1^4\right] = 12 \sigma ^6\\ \mathbb {E}\left[\begin{pmatrix} X_1^2 \\ X_1^4 \end{pmatrix}\right] & = \begin{pmatrix} \sigma ^2 \\ 3\sigma ^4 \end{pmatrix}, \qquad \operatorname {Var}\left[\begin{pmatrix} X_1^2 \\ X_1^4 \end{pmatrix}\right] = \Sigma = \begin{pmatrix} 2 \sigma ^{4} & 12 \sigma ^{6} \\ 12 \sigma ^{6} & 96 \sigma ^{8} \end{pmatrix} \end{align}
\]
Применим ЦПТ:
\[
\sqrt{n}\left(\begin{pmatrix} \overline{X^2} \\ \overline{X^4} \end{pmatrix} - \begin{pmatrix} \sigma ^2 \\ 3\sigma ^4 \end{pmatrix}\right) \xrightarrow [n \to \infty ]{d} \mathscr {N}\left(0, \Sigma \right)
\]
Таким образом, \(\begin{pmatrix} \overline{X^2} \\ \overline{X^4} \end{pmatrix}\) – ас. нормальная оценка \(\theta := \begin{pmatrix} \sigma^2 \\ 3\sigma^4 \end{pmatrix}\) с ас. ковариационной матрицей \(\Sigma\).
Воспользуемся многомерным вариантом теоремы о наследовании ас. нормальности. Имеем
\[
\begin{align} h\left((x,y)^T\right) & = \sqrt{\frac{y}{3x}}, \quad \nabla h = \left(-\frac{1}{2}\sqrt{\frac{y}{3x^3}}, \frac{1}{2}\sqrt{\frac{1}{3xy}}\right)^T, \quad \nabla h|_{\theta } = \left(-\frac{1}{2\sigma }, \frac{1}{6\sigma ^3}\right)^T \end{align}
\]
Отдельно вычислим \(\left(\nabla h|_{\theta }\right)^T \cdot \Sigma\):
\[
\begin{align} \left(\nabla h|_{\theta }\right)^T \cdot \Sigma & = \begin{pmatrix} -\dfrac {1}{2\sigma } & \dfrac {1}{6\sigma ^3} \end{pmatrix} \begin{pmatrix} 2\sigma ^4 & 12\sigma ^6 \\ 12 \sigma ^6 & 96\sigma ^8\end{pmatrix} \\ & = \begin{pmatrix} -\dfrac {1}{2\sigma }\cdot 2\sigma ^4 + \dfrac {1}{6\sigma ^3}\cdot 12\sigma ^6 & -\dfrac {1}{2\sigma }\cdot 12\sigma ^6 + \dfrac {1}{6\sigma ^3}\cdot 96\sigma ^8 \end{pmatrix} = \begin{pmatrix} \sigma ^3 & 10\sigma ^5 \end{pmatrix} \end{align}
\]
Тогда
\[
\begin{align} \left(\nabla h|_{\theta } \right)^T \cdot \Sigma \cdot \nabla h|_{\theta } & = \begin{pmatrix} \sigma ^3 & 10 \sigma ^5 \end{pmatrix}\begin{pmatrix} -1/2\sigma \\ 1/6\sigma ^3 \end{pmatrix} = -\frac{1}{2}\sigma ^2 + \frac{10}{6}\sigma ^2 = \left(\frac{10}{6} - \frac{1}{2}\right) \sigma ^2 = \frac{7}{6}\sigma ^2 \end{align}
\]
Следовательно, \(\sqrt{\frac{\overline{X^4}}{3\overline{X^2}}}\) – ас. нормальная оценка \(h(\theta ) = \sigma\) с ас. дисперсией \(\frac{7}{6}\sigma^2\):
\[
\sqrt{n}\left(\sqrt{\frac{\overline{X^4}}{3\overline{X^2}}} - \sigma \right) \xrightarrow [n\to \infty ]{d} \mathscr {N}\left(0, \frac{7}{6}\sigma ^2\right)
\]
Параметр \(\sigma\). Асимптотическая дисперсия \(\frac{7}{6}\sigma^2\).
Задана набор независимых одинаково распределенных случайных величин \(X_{1}, \ldots , X_{n}\) с распределением \(\mathcal{N}\left(0, \sigma^{2}\right)\). Рассмотрим статистики \(Y=\frac{1}{n} \sum_{i=1}^{n}\left|X_{i}\right|, Z=\frac{1}{n} \sum_{i=1}^{n} X_{i}^{2}\) и \(T=\sqrt{\frac{2}{\pi }} \frac{Z}{Y}\). Докажите, что статистика \(T\) является ас. нормальной оценкой \(\sigma\), найдите ее ас. дисперсию.
Если \(\xi \sim \mathscr {N}\left(0, \sigma^2\right)\), то \[
\mathbb {E}\left[\left|\xi \right|^p\right] = \sigma ^p (p-1)!!\begin{cases} \sqrt{\frac{2}{\pi }}, & p \text{ -- нечетное}\\ 1, & p \text{ -- четное} \end{cases}
\]
Пусть \(X_{1}, \ldots , X_{n}\)- независимые случайные величины, имеющие распределение Лапласа с параметром \(\sigma > 0\), т.е. плотность равна \[
p(x)=\frac{1}{2 \sigma } e^{-\frac{|x|}{\sigma }} .
\] Рассмотрим \(Y=\frac{1}{n} \sum_{i=1}^{n}\left|X_{i}\right|, Z=\frac{1}{n} \sum_{i=1}^{n} X_{i}^{2}\). Докажите, что статистика \(T := \frac{Z^2}{4Y^3}\) является ас. нормальной оценкой \(\sigma\), найдите ее ас. дисперсию.
Задана выборка \(X_{1}, \ldots , X_{n}\) из распределения \(U[0, \theta ]\), где \(\theta\) – неизвестный параметр. Найдите асимптотически нормальную оценку \(\theta\) как функцию от \(\overline{X^2}/\overline{X^3}\). Найдите ее асимптотическую дисперсию.