Виды сходимостей случайных векторов. Дельта-метод

Продолжим исследование асимптотических свойств различных оценок. Предположим у нас есть выборка $X_1, \ldots , X_n$ из распределения $\mathscr {N}\left(0, \sigma^2\right)$ с неизвестным параметром $\sigma > 0$, который мы хотим оценить. Напомним, что

\[ \begin{align} \mathbb {E}\left[X^p\right] = \begin{cases} 0, & p \text{ -- нечетное} \\ \sigma ^p (p-1)!!, & p \text{ -- четное} \end{cases} \end{align} \]

В частности, $\mathbb {E}\left[X_1^2\right] = \sigma^2, \mathbb {E}\left[X_1^4\right] = 3\sigma^4$. Следовательно, можно попробовать оценить $\sigma$ сразу несколькими способами:

\[ \sigma _1^*(X) = \sqrt{\overline{X^2}}, \quad \sigma _2^*(X) = \sqrt{\frac{\overline{X^4}}{3\overline{X^2}}}. \]

Учитывая, что выборочные средние примерно совпадают с соответствующими матожиданиями, $\overline{X^2} \approx \mathbb {E}\left[X_1^2\right] = \sigma^2, \overline{X^4} \approx \mathbb {E}\left[X_1^4\right] = 3\sigma^4$. Следовательно можно рассчитывать на то, что указанные оценки $\sigma_1^*, \sigma_2^*$ будут примерно равны неизвестному параметру $\sigma$. Но будут ли они, например, асимптотически нормальными? Ведь нам извество, что в силу ЦПТ, примененной к квадратам и четвертым степеням исходной выборки, $\overline{X^2}, \overline{X^4}$ – ас. нормальные оценки $\sigma^2, 3\sigma^4$.

Для ответа на указанные вопросы нам требуется несколько новых инструментов. Во-первых, требуется теорема о т.н. наследовании асимптотической нормальности, т.е. некое утверждение, которое бы обуславливало асимптотическую нормальность оценки $f(\theta^*)$, если нам известна асимптотическая нормальность $\theta^*$. Такое утверждение бы помогло в ответе на вопрос об ас. нормальности $\sigma_1^*$.

Во-вторых, заметим, что выборки $(X_1^2, X_2^2, \ldots , X_n^2)$ и $(X_1^4, X_2^4, \ldots , X_n^4)$ зависимы между собой. Следовательно, нельзя рассчитывать на то, что применение ЦПТ по отдельности к каждой из выборок приведет к корректному ответу на вопрос о предельном распределении $\sigma_2^* = \sqrt{\frac{\overline{X^4}}{3\overline{X^2}}}$. Требуется некий новый вариант ЦПТ, который бы учитывал эти зависимости, который бы ответил на вопрос о предельном распределении двумерного случайного вектора $(\overline{X^2}, \overline{X^4})^T$. Т.е. требуется многомерный вариант ЦПТ, который бы мы применили к бесконечной выборке из 2-мерного распределения

\[ \left(\begin{pmatrix} X_1^2 \\ X_1^4\end{pmatrix}, \begin{pmatrix} X_2^2 \\ X_2^4\end{pmatrix}, \begin{pmatrix} X_3^2 \\ X_3^4\end{pmatrix}, \ldots , \begin{pmatrix} X_n^2 \\ X_n^4\end{pmatrix}, \ldots \right). \]

Для этого нам требуется дать определение сходимостям случайных векторов.

1 Виды сходимостей случайных векторов

Определения сходимостей в многомерном случае аналогичны одномерному случаю.

Определение 1 Пусть $\left\{ \xi^{(n)}\right\}_{n \in \mathbb {N}}$ – последовательность случайных векторов размерности $m$, заданных на одном ВП $(\Omega , \mathcal{F}, \mathbb {P})$, $\xi^{(n)} = (\xi^{(n)}_1, \ldots , \xi^{(n)}_m)^T$.

Последовательность $\xi^{(n)}$ сходится почти наверное к случайному вектору $\xi$ при $n \rightarrow \infty$ (пишут $\xi^{(n)} \stackrel{\text{ п.н. }}{\longrightarrow } \xi$), если

\[ \mathbb {P}\left(\omega : \lim _{n \to \infty } \xi ^{(n)}(\omega ) = \xi (\omega )\right) = 1 \]
Последовательность $\xi^{(n)}$ сходится по вероятности к случайному вектору $\xi$ при $n \rightarrow \infty$ (пишут $\xi^{(n)} \xrightarrow [n \to \infty ]{\mathbb {P}} \xi$), если для любого $\varepsilon >0$ выполнено

\[ \mathbb {P}\left(\left\| \xi ^{(n)} - \xi \right\| _{2} \geq \varepsilon \right) \xrightarrow [n \to \infty ]{} 0, \] где

\[ \left\| \overrightarrow {x}\right\| _{p} := \sqrt[p]{\left|x_1\right|^p + \ldots \left|x_m\right|^p} \qquad \text{ для }\qquad \overrightarrow {x} = (x_1, \ldots , x_m) \in \mathbb {R}^{m} \] Заметим, что вместо нормы $\left\| \cdot \right\|_{2}$ можно было использовать любую другую норму $\left\| \cdot \right\|_{p}, \; p \geq 1$ и даже $\left\| \overrightarrow {x}\right\|_{\infty } = \max \left\{ x_i, \; i = 1, \ldots , n\right\}$, поскольку в конечномерных пространствах все нормы эквивалентны. Действительно, пусть $p \neq q$, $p, q \geq 1$ и пусть

\[ \mathbb {P}\left(\left\| \xi ^{(n)} - \xi \right\| _{p} \geq \varepsilon \right) \xrightarrow [n \to \infty ]{} 0 \] для любого $\varepsilon > 0$. Известно, что $\exists c, C \in \mathbb {R}_+$: $c\left\| \overrightarrow {x}\right\|_{p} \leq \left\| \overrightarrow {x}\right\|_{q} \leq C\left\| \overrightarrow {x}\right\|_{p}$, $\forall \overrightarrow {x} \in \mathbb {R}^{m}$, в этом состоит эквивалентность норм. Тогда

\[ \mathbb {P}\left(\left\| \xi ^{(n)} - \xi \right\| _{q} \geq \varepsilon \right) \leq \mathbb {P}\left(\left\| \xi ^{(n)} - \xi \right\| _{p} \geq \frac{\varepsilon }{C}\right) \xrightarrow [n \to \infty ]{} 0 \]
Последовательность $\xi^{(n)}$ сходится в лебеговом пространстве $L^{p}$ к случайному вектору $\xi$ при $n \rightarrow \infty$ (пишут $\xi^{(n)} \xrightarrow [n \to \infty ]{L^{p}} \xi$), если

\[ \mathbb {E}\left[\left\| \xi ^{(n)} - \xi \right\| _{p}^p\right] \xrightarrow [n \to \infty ]{} 0, \]
Последовательность $\xi^{(n)}$ сходится по распределению к случайному вектору $\xi$ при $n \rightarrow \infty$ (пишут $\xi^{(n)} \xrightarrow [n \to \infty ]{d} \xi$), если для любой ограниченной непрерывной функции $f: \mathbb {R}^{m} \to \mathbb {R}$ выполнено

\[ \mathbb {E}\left[f(\xi ^{(n)})\right] \xrightarrow [n \to \infty ]{} \mathbb {E}\left[f(\xi )\right] \] Равносильное определение: $\xi^{(n)} \xrightarrow [n \to \infty ]{d} \xi$, если фукнции распределения $\xi^{(n)}$

\[ F_{\xi ^{(n)}}(\overrightarrow {x}) = \mathbb {P}\left(\xi ^{(n)}_1 \leq x_1, \xi ^{(n)}_2 \leq x_2, \ldots , \xi ^{(n)}_m \leq x_m\right) \] сходятся к функции распределения $\xi$ во всех точках непрерывности последней:

\[ F_{\xi ^{(n)}}(\overrightarrow {x}) \xrightarrow [n \to \infty ]{} F_{\xi }(\overrightarrow {x}), \quad \forall \overrightarrow {x} \text{ такого что } F_{\xi } \text{ непрерывна в } \overrightarrow {x}. \]

Теорема 1 (О связях между различными сходимостями) Имеют место следующие импликации сходимостей п.н. [Rightarrow]dr P [Rightarrow, bend left]rr [Leftarrow, bend right=80]rr[fill=white, below=-0.35]Если сх. к константе d L^q [Rightarrow]rr[fill=white, above=0.05]При q p 1 L^p [Rightarrow, bend left]ur[fill=white, below]При p 1

Теорема 2 (О связях между сходимостями векторов и компонент этих векторов) Пусть заданы случайные векторы \[ \xi = \left(\xi _1, \ldots , \xi _m\right), \quad \xi ^{(n)} = \left(\xi ^{(n)}_1, \ldots , \xi ^{(n)}_m\right) \] где $n \in \mathbb {N}$. Тогда \[ \begin{align} \xi ^{(n)} & \xrightarrow [n \to \infty ]{\text{п.н.}} \xi & \iff & & & \xi ^{(n)}_i \xrightarrow [n \to \infty ]{\text{п.н.}} \xi _i,& & \forall i = 1,\ldots ,m \\ \xi ^{(n)} & \xrightarrow [n \to \infty ]{\mathbb {P}} \xi & \iff & & & \xi ^{(n)}_i \xrightarrow [n \to \infty ]{\mathbb {P}} \xi _i,& & \forall i = 1,\ldots ,m \\ \xi ^{(n)} & \xrightarrow [n \to \infty ]{L^{p}} \xi & \iff & & & \xi ^{(n)}_i \xrightarrow [n \to \infty ]{L^{p}} \xi _i,& & \forall i = 1,\ldots ,m \\ \xi ^{(n)} & \xrightarrow [n \to \infty ]{d} \xi & \Longrightarrow \; & & & \xi ^{(n)}_i \xrightarrow [n \to \infty ]{d} \xi _i,& & \forall i = 1,\ldots ,m \end{align} \]

Заметим, что для сходимости по распределению теорема в обратную сторону неверна. Из сходимости по распределению случайных векторов следует покомпонентная сходимость, но обратное не всегда верно, что показывает следующий пример. Пусть $\xi$ и $\eta$ – независимые одинаково распределённые случайные величины. Пусть последовательности случайных величин $\left\{ \xi^{(n)}\right\}_{n \in \mathbb {N}}$ и $\left\{ \eta^{(n)}\right\}_{n \in \mathbb {N}}$ таковы, что $\xi^{(n)}=\xi$ и $\eta^{(n)}=\eta$ для любого $n \in \mathbb {N}$. Тогда, очевидно, $\xi^{(n)} \stackrel{d}{\rightarrow } \xi$ и $\eta^{(n)} \stackrel{d}{\rightarrow } \xi$, так как $\xi \stackrel{d}{=} \eta$ по условию. Но векторной сходимости нет: $\left(\xi^{(n)}, \eta^{(n)}\right) \stackrel{d}{\not\to }(\xi , \xi )$, ведь $\left(\xi^{(n)}, \eta^{(n)}\right) \stackrel{d}{\rightarrow }(\xi , \eta )$ и распределения векторов $(\xi , \eta )$ и $(\xi , \xi )$ не совпадают, так как все значения второго вектора почти наверное лежат на прямой $y=x$, а для первого вектора это далеко не всегда так.

Однако если у нас есть 2 сходящиеся по распределению компоненты и если предел одной из них – константа, то в теореме Теорема 2 верна обратная импликация, о чем говорит следующая лемма.

Пусть $\eta^{(1)}, \eta^{(2)}, \ldots$ – последовательность сл. векторов размерности $k$, сх. по распределению к $\eta$:

\[ \eta ^{(n)} \xrightarrow [n \to \infty ]{d} \eta \]

Пусть $\zeta^{(1)}, \zeta^{(2)}, \ldots$ – последовательность сл. векторов размерности $l$, сх. по распределению к какому-то константному вектору $c = (c_1, \ldots , c_{l})^T \in \mathbb {R}^{l}$:

\[ \zeta ^{(n)} \xrightarrow [n \to \infty ]{d} c. \]

Тогда сл. вектор $\begin{pmatrix} \eta^{(n)} \\ \zeta^{(n)} \end{pmatrix}$ размерности $k + l$ сх. по распределнию к $\begin{pmatrix} \eta \\ c \end{pmatrix}$:

\[ \begin{pmatrix} \eta ^{(n)} \\ \zeta ^{(n)} \end{pmatrix} = \begin{pmatrix} \eta ^{(n)}_1 \\ \eta ^{(n)}_2 \\ \vdots \\ \eta ^{(n)}_{k - 1} \\ \eta ^{(n)}_{k } \\ \zeta ^{(n)}_{1} \\ \dots \\ \zeta ^{(n)}_{l } \end{pmatrix} \xrightarrow [n \to \infty ]{d} \begin{pmatrix} \eta _1 \\ \eta _2 \\ \vdots \\ \eta _{k - 1} \\ \eta _{k } \\ c_{1} \\ \dots \\ c_{l } \end{pmatrix} = \begin{pmatrix} \eta \\ c \end{pmatrix} \]

Докажите, что из сходимости последовательности $m$-мерных случайных векторов $\xi^{(n)}$ к константе $C \in \mathbb {R}^{m}$ по распределению следует сходимость $\xi^{(n)} \stackrel{\mathbb {P}}{\rightarrow } C$. Из теоремы Теорема 2 следует, что для любого $i \in \{ 1, \ldots , m\}$ выполнено $\xi^{(n)}_{i} \stackrel{d}{\rightarrow } С_i$, где $\xi^{(n)}=\left(\xi^{(n)}_{1}, \ldots , \xi^{(n)}_{m}\right)^T, C=\left(C_{1}, \ldots , C_{m}\right)^T$. Из курса вероятности нам известно, что последняя сходимость влечет сходимость по вероятности: $\xi^{(n)}_{i} \stackrel{\mathbb {P}}{\rightarrow } С_i$ для любого $i \in \{ 1, \ldots , m\}$. Но тогда из теоремы Теорема 2 имеем $\xi^{(n)} \stackrel{\mathbb {P}}{\rightarrow } C$.

2 Наследование сходимостей

Следующим важным результатом, который нам понадобится, является теорема о наследовании сходимостей.

Теорема 3 (о наследовании сходимостей/Манна-Вальда/о непрерывном отображении) Пусть $\xi , \xi^{(1)}, \xi^{(2)}, \ldots$ – сл. векторы размерности $m$, пусть $h: \mathbb {R}^{m} \to \mathbb {R}^{s}$ – функция, непрерывная почти всюду относительно распределения случайной величины $\xi$, т.е. существует такое множество $B \in \mathscr {B}\left(\mathbb {R}^{m}\right), \; \mathbb {P}\left(\xi \in B\right) = 1$, что $h$ непрерывна на $B$. Тогда \[ \begin{align} \xi ^{(n)} \xrightarrow [n \to \infty ]{\text{п.н.}} \xi & \Longrightarrow h(\xi ^{(n)}) \xrightarrow [n \to \infty ]{\text{п.н.}} h(\xi ) \\ \xi ^{(n)} \xrightarrow [n \to \infty ]{\mathbb {P}} \xi & \Longrightarrow h(\xi ^{(n)}) \xrightarrow [n \to \infty ]{\mathbb {P}} h(\xi ) \\ \xi ^{(n)} \xrightarrow [n \to \infty ]{d} \xi & \Longrightarrow h(\xi ^{(n)}) \xrightarrow [n \to \infty ]{d} h(\xi ) \end{align} \]

Следствие 1 Пусть имеем параметрическую модель $\mathcal{P} = \left\{ \mathbb {P}_\theta , \theta \in \Theta \right\}$ и выборку $X_1, X_2, \ldots$ из нее. Пусть $\widehat{\theta }$ – состоятельная (сильно состоятельная) оценка $\theta$. Пусть $\tau : \Theta \to \tau (\Theta )$ – некоторое отображение, непрерывное на $\Theta$. Тогда $\tau (\widehat{\theta })$ является состоятельной (сильно состоятельной соотв.) оценкой $\tau (\theta )$.

3 Сходимости и арифметические операции

В силу теорем Теорема 2 и Теорема 3, из сходимости последовательностей случайных величин $\xi^{(n)} \stackrel{\mathbb {P}}{\rightarrow } \xi$, $\eta^{(n)} \stackrel{\mathbb {P}}{\rightarrow } \eta$ следуют сходимости

\[ \xi ^{(n)}+\eta ^{(n)} \stackrel{\mathbb {P}}{\rightarrow } \xi +\eta , \quad \xi ^{(n)} \eta ^{(n)} \stackrel{\mathbb {P}}{\rightarrow } \xi \eta . \]

Для сходимости по распределению аналогичного вывода сделать нельзя, ведь, как мы уже знаем, из покомпонентной сходимости по распределению не следует сходимость векторов по распределению. Например, пусть $\xi \sim \mathscr {N}\left(0, 1\right)$ – произвольная ст. норм. сл. величина, $\xi_n := \xi \; \forall n \in \mathbb {N}$. Тогда можно записать

\[ \xi _n \xrightarrow [n\to \infty ]{d}\xi , \quad \xi _n \xrightarrow [n\to \infty ]{d} -\xi , \]

поскольку $\left(-\xi \right) \sim \mathscr {N}\left(0, 1\right)$. Но

\[ \xi _n + \xi _n = 2\xi _n \stackrel{d}{\not\to } \xi - \xi = 0, \]

поскольку $2\xi_n = 2\xi \sim \mathscr {N}\left(0, 4\right)$.

Однако если одна из последовательностей сходится по распределению к константе, то справедливо следующее утверждение.

Теорема 4 (Слуцкого) Пусть $\xi_n \xrightarrow [n \to \infty ]{d} \xi$ и $\eta_n \xrightarrow {d} c \in \mathbb {R}$ – случайные величины. Тогда \[ \begin{align} \xi _n + \eta _n \xrightarrow [n \to \infty ]{d} \xi + c \\ \xi _n \eta _n \xrightarrow [n \to \infty ]{d} \xi c \end{align} \]

Задача 1

Докажите теорему Слуцкого.

Подсказка

Используйте лемму @TypesOfConv:ComponentDistrConv и теорему Теорема 3 о наследовании сходимости по распределению.

4 Наследование асимптотической нормальности, одномерный случай

Мы готовы перейти непосредственно к вопросу о наследовании асимптотической нормальности. Следствием теорем Теорема 3 и Теорема 4 является

Теорема 5 (Дельта-метод) Пусть $\xi^{(n)} \stackrel{d}{\rightarrow } \xi$ – случайные векторы размерности $m$, а $h(x): \mathbb {R}^{m} \to \mathbb {R}$ – функция, дифферениируемая в точке $a \in \mathbb {R}^{m}$. Пусть $b_{n} \rightarrow 0$, $b_{n} \neq 0$. Тогда

\[ \frac{h(a + \xi ^{(n)}b_n) - h(a)}{b_n} \xrightarrow [n \to \infty ]{d} \left\langle \xi , \nabla h|_a \right\rangle , \] где $\nabla h|_{a}$ – градиент функции $h(x)$, взятый в точке $a$.

В частности, если $\xi^{(n)} \stackrel{d}{\rightarrow } \xi$ – случайные величины, $h(x): \mathbb {R} \to \mathbb {R}$ – функция, дифференцируемая в точке $a \in \mathbb {R}$, то

\[ \frac{h(a + \xi ^{(n)}b_n) - h(a)}{b_n} \xrightarrow [n \to \infty ]{d} h'(a)\xi , \]

Теорема 6 (о наследовании асимптотической нормальности) Пусть $\theta^{*}(X)$ – асимптотически нормальная оценка $\theta$ с асимптотической дисперсией $\sigma^2(\theta )$, а $\tau (\theta )$ – дифференцируемая функция на $\Theta \subset \mathbb {R}$ (производная конечна и не равна нулю в каждой точке $\theta \in \Theta )$. Тогда $\tau \left(\theta^{*}(X)\right)$ – асимптотически нормальная оценка $\tau (\theta )$ с асимптотической дисперсией $\sigma^{2}(\theta )\left(\tau^{\prime }(\theta )\right)^{2}$.

Докажите теорему о наследовании асимптотической нормальности. Имеем

\[ \begin{align} \sqrt{n}\left(\theta ^* - \theta \right) \xrightarrow [n \to \infty ]{d} \mathscr {N}\left(0, \sigma ^2(\theta )\right) \end{align} \]

Пусть

\[ b_n = \frac{1}{\sqrt{n}}, \quad h(x) = \tau (x), \quad \xi ^{(n)} = \sqrt{n}\left(\theta ^* - \theta \right), \quad a = \theta \]

Воспользоваться дельта-методом…

Мы готовы перейти к ответу на вопрос об ас. нормальности $\sigma_1^*$.

Пусть $X_{1}, \ldots , X_{n}$ – выборка из $\mathscr {N}\left(0, \sigma^2\right), \sigma > 0$. Найдите, для какого параметра оценка $\sigma^*_1 = \sqrt{\overline{X^2}}$ явл. ас. нормальной, найдите ас. дисперсию. Параметр $\sigma$. Асимптотическая дисперсия $\frac{3}{4}\sigma^2$.

Применим ЦПТ к $X_n^2, \; n \in \mathbb {N}$. Напомним, что $\mathbb {E}\left[X_1^2\right] = \sigma^2, \; \operatorname {Var}\left[X_1^2\right] = \mathbb {E}\left[X_1^4\right] - \left(\mathbb {E}\left[X_1^2\right]\right)^2 = 3\sigma^4 - \sigma^4 = 2\sigma^4$. Применим ЦПТ:

\[ \sqrt{n}\left(\overline{X^2} - \sigma ^2\right) \xrightarrow [n \to \infty ]{d} \mathscr {N}\left(0, 2\sigma ^4\right) \] Таким образом, $\overline{X^2}$ – ас. нормальная оценка $\sigma^2$ с ас. дисперсией $2\sigma^4$.
Воспользуемся теоремой о наследовании ас. нормальности. Имеем

\[ \begin{align} \tau \left(\theta \right) & = \sqrt{\theta }, \quad \tau '(\theta ) = \frac{1}{2\sqrt{\theta }}, \quad \tau '(\sigma ^2) = \frac{1}{2\sigma } \end{align} \] $\tau$ дифференцируема на $(0, +\infty )$, производная не обращается в ноль. Следовательно, $\sqrt{\overline{X^2}}$ – ас. нормальная оценка $\sigma$ с ас. дисперсией $2\sigma^4 \cdot \left(\frac{1}{2\sigma }\right)^2 = \frac{1}{2}\sigma^2$:

\[ \sqrt{n}\left(\sqrt{\overline{X^2}} - \sigma \right) \xrightarrow [n\to \infty ]{d} \mathscr {N}\left(0, \frac{1}{2}\sigma ^2\right) \]

Рассмотрим еще примеры.

Пусть $\left\{ \eta_{n}\right\}_{n \in \mathbb {N}}$ – выборка из распределения с ненулевым математическим ожиданием $a$ и дисперсией $\sigma^{2}$. Является ли статистика $\frac{1}{\overline{X}}$ асимптотической оценкой какого-то параметра? Если да, то какой будет асимптотическая дисперсия? По центральной предельной теореме, $\overline{X}$ – ас. нормальная оценка $a$ с ас. дисперсией $\sigma^2$:

\[ \sqrt{n} \left(\overline{X} - a\right) \xrightarrow [n \to \infty ]{d} \mathscr {N}\left(0, \sigma ^2\right) \]

Далее воспользуемся теоремой о наследовании ас. нормальности. Имеем $\tau (y) = \frac{1}{y}$. Эта функция дифференцируема на $\mathbb {R} \setminus \left\{ 0\right\}$. При этом $\tau '(y) = -\frac{1}{y^2}$. Следовательно, $\frac{1}{\overline{X}}$ – ас. нормальная оценка $\frac{1}{a}$ с ас. дисперсией $\frac{\sigma^2}{a^4}$:

\[ \sqrt{n}\left(\frac{1}{\overline{X}} - \frac{1}{a}\right) \xrightarrow [n \to \infty ]{d} \mathscr {N}\left(0, \frac{\sigma ^2}{a^4}\right) \]

Пусть $X_{1}, \ldots , X_{n}$- выборка из $U[1+\theta , \theta (1+\theta )]$, равномерного распределения на отрезке $[1+\theta , \theta (1+\theta )], \theta >1$. Найдите асимптотически нормальную оценку параметра $\theta$ и ее асимптотическую дисперсию. Оценка $\sqrt{2\overline{X}} - 1$, ас. дисперсия $\frac{(\theta - 1)^2}{2}.$ Заметим, что $\mathbb {E}\left[X_1\right] = \frac{(1+\theta )^2}{2} =: m(\theta )$. По центральной предельной теореме, $\overline{X}$ – асимптотически нормальная оценка параметра $m(\theta )$ с асимптотической дисперсией $\sigma^{2}(\theta )=\frac{\left(\theta^{2}-1\right)^{2}}{12}$. Заметим, что $m(\theta )$ принимает значения во множестве $(2, \infty )$. Положим $\tau (x)=\sqrt{2 x}-1$ (дифференцируемая на $(2, \infty )$ функция). Тогда, по теореме о наследовании асимптотической нормальности, $\tau (\overline{X})$ – асимптотически нормальная оценка $\theta$ с асимптотической дисперсией

\[ \sigma ^{2}(\theta )\left(\left.\tau ^{\prime }\right|_{m(\theta )}\right)^{2}=\frac{\left(\theta ^{2}-1\right)^{2}}{12} \frac{1}{2 m(\theta )}=\frac{(\theta -1)^{2}}{12} \]

Задача 2

Пусть $X_1, \dots , X_n$ – выборка из $\operatorname {Exp}\left(\alpha \right), \alpha > 0$. Найдите такие константы $a(\alpha ), \sigma^2(\alpha )$, что выполнено \[ \begin{align} \sqrt{n} (\overline{X} \sin (\overline{X}) - a(\alpha )) \xrightarrow [n \to \infty ]{d} \mathscr {N}\left(0, \sigma ^2(\alpha )\right) \end{align} \]

Задача 3

Задана выборка $X_{1}, \ldots , X_{n}$ из экспоненциального закона с параметром $\lambda >0$. Для какой величины $\tau (\lambda )$ статистика $\bar{X} \ln \bar{X}$ является асимптотически нормальной оценкой? Вычислите асимптотическую дисперсию данной оценки.

Задача 4

Пусть $X_{1}, \ldots , X_{n}$- выборка из экспоненциального распределения с параметром $\theta$. Покажите, что для любого $k \in \mathbb {N}$ статистика $\sqrt[k]{k ! / \overline{X^{k}}}$ является асимптотически нормальной оценкой параметра $\theta$. Найдите ее асимптотическую дисперсию.

Задача 5

Пусть $X_{1}, \ldots , X_{n}$ – выборка из распределения $U[0, \theta ]$ (равномерное распределение на отрезке $[0,\theta ]$). Найдите такое число $\delta >0$ и невырожденный закон распределения $\mathbb {P}_{\theta }$ (т.е. не являющийся законом распределения константы), что $n^{\delta }\left(X_{(n)}-\theta \right) \stackrel{d}{\longrightarrow } \xi \sim \mathbb {P}_\theta$ при $n \rightarrow \infty$.

Задача 6

Постройте асимптотически нормальную оценку для $b$ по выборке $X_{1}, \ldots , X_{n}$ из распределения \[ \begin{align} \mathbb {P}\left(X_1 = 1\right) & = 1-a-a^{2}-6b, \\ \mathbb {P}\left(X_1 = 2\right) & = 5 b, \\ \mathbb {P}\left(X_1 = 5\right) & = a+a^{2}+b, \end{align} \] где $a, b$- неизвестные положительные параметры.

Задача 11

Задана выборка $X_{1}, \ldots , X_{n}, X_{1}=\xi +\eta , \xi \sim U(0, \theta ), \eta \sim$ $U(\theta , 2 \theta )$ – независимые случайные величины, где $\theta >0$ – неизвестный параметр. Найдите асимптотически нормальную оценку $$ и ее асимптотическую дисперсию. \[ ::: \]\[ = X$. Асимптотическая дисперсия:$^2\]

Задача 7

5 Предельные теоремы для случайных векторов

Для случайных векторов остаются верны предельные теоремы, аналогичные соответствующим теоремам для случайных величин: закон больших чисел, усиленный закон больших чисел, центральная предельная теорема. Приведем их формулировки. Далее для случайного вектора $$\[$мы будем писать$E$, подразумевая вектор, составленный из математических ожиданий компонент вектора\].

$^(n)_n N-$независимые случайные векторы, дисперсия каждой компоненты каждого случайного вектора ограничена константой$C$$$$. Тогда

\[ \frac{\xi ^{(1)}+\ldots +\xi ^{(n)}-\mathbb {E}\left[\xi ^{(1)}+\ldots +\xi ^{(n)}\right]}{n^{0.5+\delta }} \xrightarrow [n \to \infty ]{\mathbb {P}} 0, \]

где $\delta$- произвольное положительное число.

Теорема 7

Теорема 8 (многомерный аналог усиленного закона больших чисел) Пусть $\left\{ \xi^{(n)}\right\}_{n \in \mathbb {N}}-$ независимые однаково распределенные случайные векторы, математические ожидания всех компонент конечны и равны $\mathbb {E}\left[\xi^{(1)}\right] = a$. Тогда \[ \frac{\xi ^{(1)}+\ldots +\xi ^{(n)}}{n} \xrightarrow [n \to \infty ]{\text{п.н.}} a \]

Теорема 9 (многомерный аналог центральной предельной теоремы) Пусть $\left\{ \xi^{(n)}\right\}_{n \in \mathbb {N}}-$ независимые одинаково распределенные случайные векторы, $\mathbb {E}\left[\xi^{(1)}\right] = a$, матрица ковариаций случайного вектора $\xi^{(1)}$ равна $\operatorname {Var}\left[\xi^{(1)}\right] = \Sigma$. Тогда \[ \sqrt{n}\left(\frac{\xi ^{(1)}+\ldots +\xi ^{(n)}}{n}-a\right) \stackrel{d}{\rightarrow } \eta \sim \mathcal{N}(0, \Sigma ), \] где $\mathcal{N}(0, \Sigma )$- многомерное нормальное распределение (гауссовский вектор).

6 Наследование асимптотической нормальности, многомерный случай

Теперь мы почти готовы ответить на вопрос об ас. нормальности приведенной в начале главы оценки $\sigma^*_2$. Последний шаг – сформулировать многомерный вариант теоремы о наследовании ас. нормальности.

Теорема 10 (о наследовании асимптотической нормальности, многомерный вариант) Пусть $\theta^{*}(X)$ – асимптотически нормальная оценка $k$-мерного параметра $\theta \in \Theta \subset \mathbb {R}^{k}$ с асимптотической ковариационной матрицей $\Sigma (\theta )$, а $\tau : \Theta \to \mathbb {R}$ – дифференцируемая функция на $\Theta \subset \mathbb {R}^{k}$ (градиент $\nabla \tau$ конечен и не равен нуль-вектору в каждой точке $\theta \in \Theta )$. Тогда $\tau \left(\theta^{*}(X)\right)$ – асимптотически нормальная оценка $\tau (\theta )$ с асимптотической дисперсией \[ \left(\nabla \tau |_{\theta }\right)^T \cdot \Sigma \cdot \nabla \tau |_{\theta } \]

Доказательство аналогично одномерному случаю.

Пусть $X_{1}, \ldots , X_{n}$ – выборка из $\mathscr {N}\left(0, \sigma^2\right)$. Найдите, для какого параметра оценка $\sigma^*_2 = \sqrt{\frac{\overline{X^4}}{3\overline{X^2}}}$ явл. ас. нормальной, найдите ас. дисперсию. Параметр $\sigma$. Асимптотическая дисперсия $\frac{7}{6}\sigma^2$.

Применим многомерную ЦПТ к $\xi^{(n)} := (X_n^2, X_n^4)^T, \; n \in \mathbb {N}$. Найдем матожидание и ковариационную матрицу $\xi^{(n)}$:

\[ \begin{align} \mathbb {E}\left[X_1^2\right] & = \sigma ^2, \quad \mathbb {E}\left[X_1^4\right] = 3\sigma ^4, \quad \mathbb {E}\left[X_1^6\right] = 15\sigma ^6, \quad \mathbb {E}\left[X_1^8\right] = 105\sigma ^8\\ \operatorname {Var}\left[X_1^2\right] & = \mathbb {E}\left[X_1^4\right] - \left(\mathbb {E}\left[X_1^2\right]\right)^2 = 2\sigma ^4, \quad \operatorname {Var}\left[X_1^4\right] = \mathbb {E}\left[X_1^8\right] - \left(\mathbb {E}\left[X_1^4\right]\right)^2 = 96\sigma ^8, \\ \operatorname {Cov}\left( X_1^2, X_1^4 \right) & = \mathbb {E}\left[X_1^6\right] - \mathbb {E}\left[X_1^2\right]\mathbb {E}\left[X_1^4\right] = 12 \sigma ^6\\ \mathbb {E}\left[\begin{pmatrix} X_1^2 \\ X_1^4 \end{pmatrix}\right] & = \begin{pmatrix} \sigma ^2 \\ 3\sigma ^4 \end{pmatrix}, \qquad \operatorname {Var}\left[\begin{pmatrix} X_1^2 \\ X_1^4 \end{pmatrix}\right] = \Sigma = \begin{pmatrix} 2 \sigma ^{4} & 12 \sigma ^{6} \\ 12 \sigma ^{6} & 96 \sigma ^{8} \end{pmatrix} \end{align} \] Примерим ЦПТ:

\[ \sqrt{n}\left(\begin{pmatrix} \overline{X^2} \\ \overline{X^4} \end{pmatrix} - \begin{pmatrix} \sigma ^2 \\ 3\sigma ^4 \end{pmatrix}\right) \xrightarrow [n \to \infty ]{d} \mathscr {N}\left(0, \Sigma \right) \] Таким образом, $\begin{pmatrix} \overline{X^2} \\ \overline{X^4} \end{pmatrix}$ – ас. нормальная оценка $\theta := \begin{pmatrix} \sigma^2 \\ 3\sigma^4 \end{pmatrix}$ с ас. ковариационной матрицей $\Sigma$.
Воспользуемся многомерным вариантом теоремы о наследовании ас. нормальности. Имеем

\[ \begin{align} \tau \left((x,y)^T\right) & = \sqrt{\frac{y}{3x}}, \quad \nabla \tau = \left(-\frac{1}{2}\sqrt{\frac{y}{3x^3}}, \frac{1}{2}\sqrt{\frac{1}{3xy}}\right)^T, \quad \nabla \tau |_{\theta } = \left(-\frac{1}{2\sigma }, \frac{1}{6\sigma ^3}\right)^T \\ \left(\nabla \tau |_{\theta } \right)^T \cdot \Sigma \cdot \nabla \tau |_{\theta } & = \begin{pmatrix} \sigma ^3 & 10 \sigma ^5 \end{pmatrix}\begin{pmatrix} -1/2\sigma \\ 1/6\sigma ^3 \end{pmatrix} = \left(\frac{10}{6} - \frac{1}{2}\right) \sigma ^2 = \frac{7}{6}\sigma ^2 \end{align} \] Следовательно, $\sqrt{\frac{\overline{X^4}}{3\overline{X^2}}}$ – ас. нормальная оценка $\tau (\theta ) = \sigma$ с ас. дисперсией $\frac{7}{6}\sigma^2$:

\[ \sqrt{n}\left(\sqrt{\frac{\overline{X^4}}{3\overline{X^2}}} - \sigma \right) \xrightarrow [n\to \infty ]{d} \mathscr {N}\left(0, \frac{7}{6}\sigma ^2\right) \]

Задача 8

Задана набор независимых одинаково распределенных случайных величин $X_{1}, \ldots , X_{n}$ с распределением $\mathcal{N}\left(0, \sigma^{2}\right)$. Рассмотрим статистики $Y=\frac{1}{n} \sum_{i=1}^{n}\left|X_{i}\right|, Z=\frac{1}{n} \sum_{i=1}^{n} X_{i}^{2}$ и $T=\sqrt{\frac{2}{\pi }} \frac{Z}{Y}$. Докажите, что статистика $T$ является ас. нормальной оценкой $\sigma$, найдите ее ас. дисперсию.

Подсказка

Если $\xi \sim \mathscr {N}\left(0, \sigma^2\right)$, то \[ \mathbb {E}\left[\left|\xi \right|^p\right] = \sigma ^p (p-1)!!\begin{cases} \sqrt{\frac{2}{\pi }}, & p \text{ -- нечетное}\\ 1, & p \text{ -- четное} \end{cases} \]

Задача 9

Пусть $X_{1}, \ldots , X_{n}$- независимые случайные величины, имеющие распределение Лапласа с параметром $\sigma > 0$, т.е. плотность равна \[ p(x)=\frac{1}{2 \sigma } e^{-\frac{|x|}{\sigma }} . \] Рассмотрим $Y=\frac{1}{n} \sum_{i=1}^{n}\left|X_{i}\right|, Z=\frac{1}{n} \sum_{i=1}^{n} X_{i}^{2}$. Докажите, что статистика $T := \frac{Z^2}{4Y^3}$ является ас. нормальной оценкой $\sigma$, найдите ее ас. дисперсию.

Задача 10

Задана выборка $X_{1}, \ldots , X_{n}$ из распределения $U[0, \theta ]$, где $\theta$ – неизвестный параметр. Найдите асимптотически нормальную оценку $\theta$ как функцию от $\overline{X^2}/\overline{X^3}$. Найдите ее асимптотическую дисперсию.