Пусть \(\Theta \subset \mathbb {R}^{k}\). Рассмотрим некоторое семейство распределений (параметрическую модель) \(\left\{ \mathbb {P}_\theta , \; \theta \in \Theta \right\}\) и выборку \(X_{1}, \ldots , X_{n}\) из неизвестного распределения \(\mathbb {P}_{\theta }\). В данной главе рассмотрим 3 самых распространенных универсальных способа получения оценок параметра \(\theta\).
Метод моментов
Напомним, \(k\)-м моментом (\(k \in \mathbb {N}\)) случайной величины \(X\) называется матожидание \(\mathbb {E}\left[X^k\right]\). \(k\)-м выборочным моментом выборки \(X_1, \ldots , X_n\) называется величина
\[
\overline{X^k} := \frac{1}{n}\sum _{i=1}^n X_i^k
\]
Идея метода моментов (сокр. MM, англ. Method of Moments) следующая: если какой-то момент сл. величины \(X_1\) легко выражается через \(\theta\), то можно заменить момент на выборочный момент, а \(\theta\) на оценку \(\widehat{\theta }\), и получить таким образом оценку.
Пусть имеем выборку из экспоненциального распределения \(\operatorname {Exp}(\theta ), \; \theta > 0\) с плотностью \[
p_\theta (x) = \theta \cdot e^{-\theta x} \cdot \; \mathbb {1}_{x \geq 0}
\] Постройте для \(\theta\) оценку по методу моментов.
В данном случае имеем \(\theta \in \Theta = (0, +\infty )\), параметр одномерный. Далее, \(\mathbb {E}_{\theta }\left[X_1\right] = \frac{1}{\theta }\). Заменим матожидание (1-й момент) на выборочное среднее (1-й выборочный момент), а \(\theta\) на \(\widehat{\theta }\), получим \[
\overline{X} = \frac{1}{\widehat{\theta }}
\] т.е. \(\widehat{\theta } = \frac{1}{\overline{X}}\).
\(\widehat{\theta }_{\operatorname {MM}} = \frac{1}{\overline{X}}\)
В случае многомерного параметра можно использовать несколько моментов для поиска оценки.
Найти оценки по методу моментов для семейства распределений \(\mathcal{N}\left(a, \sigma^{2}\right)\). Величину \(\sigma^{2}\) считайте при этом единым параметром. Т.е. требуется оценить именно дисперсию \(\sigma^{2}\) нормального распределения, не стандартное отклонение \(\sigma\).
Здесь \(\theta =\left(a, \sigma^{2}\right), \Theta =\mathbb {R} \times (0, \infty )\). Имеем \[
\begin{cases} \mathbb {E}_{\theta }\left[X_1\right] & = a \\ \mathbb {E}_{\theta }\left[X_1^2\right] & = \sigma ^2 + a^2 \end{cases}
\] Заменим моменты на выборочные моменты, а параметры на оценки, получим систему \[
\begin{cases} \overline{X} & = \widehat{a} \\ \overline{X^2} & = \widehat{\sigma ^2} + \widehat{a}^2 \end{cases}
\] Решим систему: \[
\begin{cases} \overline{X} & = \widehat{a} \\ \overline{X^2} & = \widehat{\sigma ^2} + \widehat{a}^2 \end{cases} \iff \begin{cases} \widehat{a} & = \overline{X} \\ \widehat{\sigma ^2} & = \overline{X^2} - \overline{X}^2 \end{cases}
\]
\(\widehat{a}_{\operatorname {MM}} = \overline{X}, \quad \widehat{\sigma^2}_{\operatorname {MM}} = \overline{X^2} - \overline{X}^2\).
Найдите оценки по методу моментов для следующих распределений
\(\mathscr {N}\left(a, \sigma^2\right), \; a \in \mathbb {R}, \sigma > 0\);
\(\Gamma (\alpha , \beta )\). Напомним, что плотность гамма-распределения равна
$$
p_{\alpha , \beta } = \frac{\beta ^\alpha }{\Gamma (\alpha )}x^{\alpha - 1}e^{-\beta x} \; \mathbb {1}_{x \in [0, +\infty )},
$$
где $\alpha , \beta > 0$. Гамма-функция: $\Gamma (\alpha ) = \int_0^{\infty } x^{\alpha - 1}e^{-x}dx$. Это непрерывный аналог функции факториала, а именно $\Gamma (n+1) = n!, \; n \in \mathbb {Z}_+$. В общем случае $\Gamma (\alpha + 1) = \alpha \Gamma (\alpha ), \; \forall \alpha > 0$. Еще полезное значение: $\Gamma (\frac{1}{2}) = \sqrt{\pi }$.
\(U[a,b], \; -\infty < a < b < +\infty\)
\(\PoisDistribution {\lambda }, \; \lambda > 0\);
\(\BinomDistribution {m}{p}, \; m \in \mathbb {N}, p \in (0,1)\);
\(\GeomDistribution {p}\). Напомним, что \(\GeomDistribution {p}\) – дискретное распределение с носителем \(\mathbb {Z}_+\) со следующей функцией вероятности: \(P_{p}(k) = (1-p)^kp, \; p \in \mathbb {Z}_+\).
\(\operatorname {Beta}(\lambda_1, \lambda_2)\). Напомним, плотность бета-распределения равна
$$
p_{\lambda _1, \lambda _2}(x) = \frac{x^{\lambda _1-1}(1 - x)^{\lambda _2 - 1}}{B(\lambda _1, \lambda _2)} \; \mathbb {1}_{x \in [0,1]},
$$
$\lambda_1, \lambda_2 > 0$. Бета-функция $B(\lambda_1, \lambda_2)$:
$$
B(\lambda _1, \lambda _2) = \int _0^1 x^{\lambda _1 - 1}(1 - x)^{\lambda _2 - 1} dx = \frac{\Gamma (\lambda _1)\Gamma (\lambda _2)}{\Gamma (\lambda _1 + \lambda _2)}
$$
Примечание. Каждый пункт оценивается в 0.3 балла.
В общем случае непосредственно моментов у распределения может не существовать. Однако если существуют другие матожидания \(\mathbb {E}_{\theta }\left[g(X_1)\right]\), например \(\mathbb {E}_{\theta }\left[\ln (X_1)\right]\), то можно попробовать построить оценку на их основе. \(g\) называют пробной функцией; если \(g(x) = x^k\), \(k\in \mathbb {N}\), то \(g\) называют стандартной пробной функцией. В примерах выше мы использовали стандартные пробные функции. Теперь попробуем использовать нестандартные.
Пусть имеем выборку \(X_1,\ldots , X_n\) из лог-логистического распределения \(\operatorname {LL}(\alpha , \beta ), \; \alpha , \beta > 0\) с плотностью \[
p(x) = \frac{(\beta /\alpha ) (x/\alpha )^{\beta - 1}}{(1 + (x/\alpha )^\beta )^2} \; \mathbb {1}_{x \geq 0}
\] Постройте для \(\alpha , \beta\) оценки по методу моментов.
В данном случае имеем \(\theta = (\alpha , \beta )^T \in \Theta = (0, +\infty ) \times (0, +\infty )\), параметр двумерный. При \(m > 0\) имеем \[
\begin{align} \mathbb {E}_{\theta }\left[X^m_1\right] & = \int _{0}^{\infty } \frac{(\beta /\alpha ) (x/\alpha )^{\beta - 1}}{(1 + (x/\alpha )^\beta )^2} \cdot x^m \cdot dx = \beta \alpha ^m \int _{0}^{\infty } \frac{(x/\alpha )^{\beta - 1 + m}}{(1 + (x/\alpha )^\beta )^2} d(x/\alpha ) = \bigg\rvert y = x/\alpha \bigg\rvert = \\ & = \beta \alpha ^m \int _{0}^{\infty } \frac{y^{\beta - 1 + m}}{(1 + y^\beta )^2}dy = \bigg\rvert z = \frac{1}{1 + y^\beta }, \; y = \left(\frac{1 - z}{z}\right)^{\frac{1}{\beta }}, \; dy = -\frac{1}{\beta }\left(\frac{1 - z}{z}\right)^{\frac{1}{\beta } - 1} z^{-2}\bigg\rvert = \\ & = \beta \alpha ^m -\int _{1}^{0} \left(\frac{1 - z}{z}\right)^{1 - \frac{1}{\beta } + \frac{m}{\beta }} z^2 \frac{1}{\beta }\left(\frac{1 - z}{z}\right)^{\frac{1}{\beta } - 1} z^{-2} dz = \\ & = \alpha ^m \int _0^1 z^{-\frac{m}{\beta }}\left(1 - z\right)^{\frac{m}{\beta }} dz = \begin{cases} \alpha ^m B(1 - \frac{m}{\beta }, 1 + \frac{m}{\beta }), & \text{ если } 1 - \frac{m}{\beta } > 0 \iff \beta > m \\ \infty , & \text{ в прот. случае} \end{cases} \end{align}
\] Таким образом, при \(\beta < 1\) матожидания \(\mathbb {E}_{\theta }\left[X_1\right]\) и, как следствие, всех прочих моментов у \(X_1\) не существует, невозможно построить оценку по методу моментов на основе стандартных пробных функций. Однако известно, что случайная величина \(\ln (X_1)\) имеет логистическое распределение \(\operatorname {Logistic}(\mu , s)\) с параметрами \(\mu = \ln (\alpha ), \; s = 1/\beta\). Известно, что у данного распределения при любых значениях параметров \(\mu , s\) 1-й и 2-й моменты существуют и равны \(\mu\), \(s^2 \pi^2/ 3 + \mu^2\), т.е. \[
\mathbb {E}\left[\ln (X_1)\right] = \mu = \ln (\alpha ), \qquad \mathbb {E}\left[\ln ^2(X_1)\right] = \operatorname {Var}\left[\ln (X_1)\right] + \left(\mathbb {E}\left[\ln (X_1)\right]\right)^2 = \frac{s^2\pi ^2}{3} + \mu ^2 = \frac{\pi ^2}{3\beta ^2} + \ln ^2(\alpha )
\] Для построения оценок по методу моментов заменим матожидания на выборочные характеристики, а параметры на оценки: \[
\begin{align} \mathbb {E}\left[\ln (X_1)\right] \; & \longrightarrow \; \overline{\ln (X)} = \frac{1}{n}\sum _{i=1}^n \ln (X_i), \\ \mathbb {E}\left[\ln ^2(X_1)\right] \; & \longrightarrow \; \overline{\ln ^2(X)} = \frac{1}{n}\sum _{i=1}^n \ln ^2(X_i) \\ \alpha \; & \longrightarrow \; \widehat{\alpha }, \\ \beta \; & \longrightarrow \; \widehat{\beta } \end{align}
\] Получим \[
\begin{cases} \overline{\ln (X)} & = \ln (\widehat{\alpha }) \\ \overline{\ln ^2(X)} & = \frac{\pi ^2 }{3\widehat{\beta }^2} + \ln ^2(\widehat{\alpha }) \end{cases} \iff \begin{cases} \widehat{a} & = e^{\overline{\ln (X)}} \\ \widehat{\beta } & = \pi \frac{1}{\sqrt{3\left( \overline{\ln ^2(X)} - \overline{\ln (X)}^2\right)}} \end{cases}
\]
\[
\widehat{a}_{\operatorname {MM}} = e^{\overline{\ln (X)}}, \qquad \widehat{\beta }_{\operatorname {MM}} = \pi \frac{1}{\sqrt{3 \cdot \left( \overline{\ln ^2(X)} - \overline{\ln (X)}^2\right)}}
\]
Найдите оценки по методу моментов для параметров следующих распределений
распределения \(\operatorname {Pareto}(1, \alpha ), \; \alpha > 0\) с плотностью \(p_{\alpha }(x) = \frac{\alpha }{x^{\alpha + 1}}\; \mathbb {1}_{x \in [1, +\infty )}\);
распределения \(\operatorname {Cauchy}(0, \gamma ), \; \gamma > 0\) с плотностью \(p_{\gamma }(x) = \frac{\gamma }{\pi (\gamma^2 + x^2)}\). Примечание. Каждый пункт оценивается в 1 балл.
Дадим общее описание метода моментов построения оценки для \(\theta\). Для построения оценки выберем такие борелевские функции \(g_{1}, \ldots , g_{k}: \mathbb {R} \rightarrow \mathbb {R}\) (количество функций \(k\) равно размерности параметра \(\theta\)), что для любого \(i \in \left\{ 1, \ldots , k\right\}\) и любого \(\theta \in \Theta\) существует конечное матожидание \(\mathbb {E}_{\theta }\left[g_i(X_1)\right]\). Обозначим
\[
\begin{cases} m_1(\theta ) & := \mathbb {E}_{\theta }\left[g_1(X_1)\right], \\ & \vdots \\ m_k(\theta ) & := \mathbb {E}_{\theta }\left[g_k(X_1)\right] \end{cases} \qquad \text{ или } \qquad m(\theta ) = \begin{pmatrix} \mathbb {E}_{\theta }\left[g_1(X_1)\right] \\ \vdots \\ \mathbb {E}_{\theta }\left[g_k(X_1)\right] \end{pmatrix}, \quad \text{ где } \quad m(\theta ) := \begin{pmatrix} m_1(\theta ) \\ \vdots \\ m_k(\theta ) \end{pmatrix}
\]
Заменим параметр \(\theta\) на его оценку \(\widehat{\theta }\), а матожидания \(\mathbb {E}_{\theta }\left[g_i(X_1)\right]\) на выборочные матожидания
\[
\overline{g_i(X)} = \frac{1}{n}\sum _{j=1}^n g_i(X_j)
\]
Получим систему уравнений относительно \(\widehat{\theta }\):
\[
\begin{cases} m_1(\widehat{\theta }) & = \overline{g_1(X_1)}, \\ & \vdots \\ m_k(\widehat{\theta }) & = \overline{g_k(X_1)} \end{cases}
\]
Предположим, что у этой системы существует единственное решение. Тогда это единственное решение \(\theta^{*}(X) = \widehat{\theta }_{\operatorname {MM}}(X)\) называется оценкой по методу моментов с пробными функциями \(g_{1}, \ldots , g_{k}\). Функции \(g_{i}(x)=x^{i}, i \in \{ 1, \ldots , k\}\), называются стандартными пробными функциями. В случае использования стандартных пробных функций \(\mathbb {E}\left[g_i(X_1)\right]\) – это какой-то момент случайной величины.
Теорема 1 Если \(m: \Theta \rightarrow m(\Theta )\)- биекция и функцию \(m^{-1}\) можно доопределить до функции, заданной на всем множестве \(\mathbb {R}^{k}\) и непрерывной в каждой точке множества \(m(\Theta )\), то оценка по методу моментов является сильно состоятельной.
Более того, утверждение этой теоремы можно дополнить следующим образом.
Докажите, что в условиях теоремы выше оценка по методу моментов является асимптотически нормальной, если функцию \(m^{-1}\) можно доопределить до функции, заданной на всем множестве \(\mathbb {R}^{k}\) и дифференцируемой в каждой точке множества \(m(\Theta )\), и, кроме того, для любого \(i \in \{ 1, \ldots , k\}\) и любого \(\theta \in \Theta\) выполнено неравенство \[
0 < \Var [\theta ]{g_i(X_1)} < +\infty
\]
Итак, оценка по методу моментов равна \(\theta^{*}=m^{-1}\left(\overline{g(X)}\right)\), где \(\overline{g(X)}=\left(\overline{g_{1}(X)}, \ldots , \overline{g_{k}(X)}\right)^{T}\). По многомерной центральной предельной теореме, для любого \(\theta \in \Theta\) выполнено
\[
\sqrt{n}\left(\overline{g(X)}-m(\theta )\right) \xrightarrow {d_{\theta }} \xi \sim \mathcal{N}(0, \Sigma (\theta )),
\] где \(\Sigma (\theta )\)- матрица ковариаций вектора \(\left(g_{1}\left(X_{1}\right), \ldots , g_{k}\left(X_{1}\right)\right)^{T}\). Согласно дельта-методу (\(h=m^{-1}\), \(b_{n}=1 / \sqrt{n}\), \(a=m(\theta )\), \(\xi_{n}=\sqrt{n}\left(\overline{g(X)}-m(\theta )\right)\)), выполнено
\[
\sqrt{n}\left(m^{-1}\left(\overline{g(X)}\right) - \theta \right) \xrightarrow []{d_\theta } \left\langle \xi , \nabla (m^{-1})\vert _{m(\theta )} \right\rangle \sim \mathscr {N}\left(0, \left(\nabla (m^{-1})\vert _{m(\theta )}\right)^T \cdot \Sigma (\theta ) \cdot \nabla (m^{-1})\vert _{m(\theta )}\right)
\]
Заметим, что оценка по методу моментов не обязательно является несмещённой.
Метод максимального правдоподобия
Пусть \(\mathcal{P}=\left\{ \mathbb {P}_{\theta }, \theta \in \Theta \right\}\) – параметрическое семейство распределений. Если все \(\mathbb {P}_{\theta }\) – абсолютно непрерывные распределения, то положим \(p_{\theta }(x)\) равной плотности распределения \(\mathbb {P}_{\theta }\). Если же все \(\left\{ \mathbb {P}_{\theta }, \theta \in \Theta \right\}\) – дискретные распределения, то положим \(p_{\theta }(x)=\mathbb {P}_{\theta }(X=x)\), \(x \in \mathbb {Z}\). В обоих случаях будем называть семейство \(\mathcal{P}\) доминируемым.
Пусть \(\mathcal{P}=\left\{ \mathbb {P}_{\theta }, \theta \in \Theta \right\}\) – доминируемое семейство распределений, \(X_{1}, \ldots , X_{n}\) – выборка, имеющая распределение из этого семейства. Если \(p_\theta (x)\) – плотность \(X_1\), то плотность \(f\) вектора выборки \(X = (X_1, \ldots , X_n)^T\) равна произведению плотностей компонент, поскольку компоненты выборки независимы:
\[
f_\theta (x_1, \ldots , x_n) = f(x_1, \ldots , x_n ; \theta ) = f(\overrightarrow {x} ; \theta ) := p_\theta (x_1) \cdot p_\theta (x_2) \cdot \ldots \cdot p_{\theta }(x_n) , \quad \text{ где } \quad \overrightarrow {x} = \begin{pmatrix} x_1 \\ \vdots \\ x_n \end{pmatrix}
\]
Заметим, что совместная плотность выборки \(f\) зависит от \(\theta\) и от \(\overrightarrow {x}\). Однако принято при рассмотрении совместной плотности фиксировать параметр \(\theta\) и варьировать \(f\) по \(\overrightarrow {x}\).
Функцией правдоподобия выборки \(X_{1}, \ldots , X_{n}\) называется совместная плотность выборки, если в нее вместо \(x_1, \ldots , x_n\) вставить сами элементы выборки \(X_1, \ldots , X_n\) и начать варьировать по параметру \(\theta\):
\[
f(\theta ) = f(\theta ; X_1, \ldots , X_n) =p_\theta (X_1) \cdot p_\theta (X_2) \cdot \ldots \cdot p_{\theta }(X_n)
\]
Заметим, что при фиксированном \(\theta\) правдоподобие – это случайная величина.
Величина
\[
L(\theta ) = L\left(\theta ; X_{1}, \ldots , X_{n}\right) := \ln f\left(\theta ; X_{1}, \ldots , X_{n}\right)
\]
называется логарифмической функцией правдоподобия. Оценкой максимального правдоподобия (ОМП или MLE от англ. Maximum Likelihood Estimator) параметра \(\theta\) называется
\[
\widehat{\theta }_{\operatorname {MLE}} = \widehat{\theta }_{\operatorname {MLE}}\left(X_{1}, \ldots , X_{n}\right) := \argmax _{\theta \in \Theta } f\left(\theta ; X_{1}, \ldots , X_{n}\right)
\]
т.е. то значение \(\theta \in \Theta\), при котором достигается максимум функции правдоподобия при фиксированных \(X_{1}, \ldots , X_{n}\).
Пусть \(X_{1}, \ldots , X_{n}\) – выборка из распределения \(\operatorname {Bern}(\theta )\), \(\theta \in (0,1)\). Найдите оценку максимального правдоподобия параметра \(\theta\).
Функция вероятностей для распределения Бернулли:
\[
p_{\theta }(x) = \mathbb {P}\left(X_1 = x\right) = \begin{cases} \theta , & \text{ если } x = 1 \\ 1 - \theta , & \text{ если } x = 0 \end{cases}
\] Получим для \(p_\theta\) удобное представление:
\[
p_\theta (x) = \theta ^x \cdot (1-\theta )^{1-x} \cdot \; \mathbb {1}_{x \in \left\{ 0,1\right\} }
\] Следовательно, функция правдоподобия равна
\[
L(\theta ; X_1, \ldots , X_n) = \theta ^{\sum X_{i}}(1-\theta )^{n-\sum X_{i}}
\] а логарифмическая функция правдоподобия (которую, как правило, легче дифференцировать, чтобы найти точку максимума) равна
\[
l(\theta ) = l(\theta ; X_1, \ldots , X_n) = \sum _{i=1}^n X_{i} \ln \theta + \left(n-\sum _{i=1}^n X_{i}\right) \ln (1-\theta )
\] Чтобы найти оценку максимального правдоподобия, дифференцируем \(l\) по \(\theta\) (считая \(X_1, \ldots , X_n\) фиксированными):
\[
\frac{\partial l(\theta )}{\partial \theta } = \frac{\sum X_{i}}{\theta }-\frac{n-\sum X_{i}}{1-\theta } = n \cdot \left( \frac{\overline{X}}{\theta }-\frac{1-\overline{X}}{1-\theta }\right) = n \cdot \frac{\overline{X} - \theta }{\theta (1 - \theta )}
\] Чтобы найти точку максимума, приравняем производную к нулю:
\[
0 = \frac{\partial l(\theta )}{\partial \theta } = n \cdot \frac{\overline{X} - \theta }{\theta (1 - \theta )} \iff \theta = \overline{X}
\] Будет ли \(\widehat{\theta } := \overline{X}\) точкой, в которой правдоподобие (или, что эквивалентно, логправдоподобие) достигать максимума? Заметим, что при \(0 < \theta < \overline{X}\) производная \(\frac{\partial l(\theta )}{\partial \theta }\) положительна, а при \(\overline{X} < \theta < 1\) производная отрицательна. Следовательно \(\widehat{\theta } = \overline{X}\) – точка глобального максимума функции \(l(\theta )\) при фиксированных \(X_1,\ldots , X_n\) и \(\theta \in (0,1)\).
\(\widehat{\theta }_{\operatorname {MLE}} = \overline{X}\)
Найдите оценки по методу максимального правдоподобия для следующих распределений:
\(\mathscr {N}\left(a, \sigma^2\right)\) в трех случаях: когда неизвестен только один из параметров и когда неизвестны оба параметра;
\(\Gamma (\alpha , \beta ), \; \alpha ,\beta > 0\), если параметр \(\alpha\) известен;
\(U[a,b], \; -\infty < a < b < +\infty\)
\(\PoisDistribution {\lambda }, \; \lambda > 0\);
\(\BinomDistribution {m}{p}, \; m \in \mathbb {N}, p \in (0,1)\), если параметр \(m\) известен;
\(\GeomDistribution {p}, \; p \in (0,1)\).
\(\operatorname {Pareto}(x_0, 2), \; \theta > 0\). Напомним, что распределение Парето \(\operatorname {Pareto}(x_0, \alpha )\) – непрерывное распределение с плотностью
\[
p_{x_0, \alpha }(x) = \frac{\alpha x_0^\alpha }{x^{\alpha + 1}}\; \mathbb {1}_{x \in [x_0, +\infty )}.
\] \(x_0\) интерпретируется как сдвиг распределения, а \(\alpha\) как параметр формы. Примечание. Каждый пункт оценивается в 0.3 балла.
Пусть \(X_1, \ldots , X_n\) – выборка из смещенного экспоненциального распределения с плотностью \[
p_{\alpha , \beta } = \frac{1}{\alpha } e^{\frac{\beta - x}{\alpha }} \; \mathbb {1}_{x \in [b, +\infty )},
\] где \(\theta = (\alpha , \beta )^T \in \mathbb {R}_+ \times \mathbb {R}\). Найдите для \(\theta\) оценку максимального правдоподобия. Докажите, что полученная для \(\alpha\) оценка \(\widehat{\alpha }\) является асимптотически нормальной, и найдите ее асимптотическую дисперсию.
Найдите оценку максимального правдоподобия для параметра сдвига $$\(x_0\)в распределении Коши\(\operatorname {Cauchy}(x_0, 1)\), если выборка состоит из
Напомним, что распределение Коши\(\operatorname {Cauchy}(x_0, \gamma )\)\[ – непрерывное распределение с плотностью
\] p_{, }(x) = = .
$$ \(x_0\) интерпретируется как сдвиг распределения, а \(\gamma\) как масштаб.
Пусть \(X_1, \ldots , X_n\) – выборка из распределения \(e^{U[0, \theta ]}, \; \theta > 0\). Т.е. если \(\xi \sim U[0, \theta ]\), то \(X_1 \sim e^\xi\). Найдите оценку максимального правдоподобия параметра \(\theta\) и проверьте ее на состоятельность.
Пусть \(X_1, \ldots , X_n\) – выборка из распределения Лапласа с плотностью \[
p_\theta (x) = \frac{1}{2}e^{-\left|x - \theta \right|}
\] Найдите оценку параметра \(\theta\) методом максимального правдоподобия.
Обратимся, наконец, к свойствам оценки максимального правдоподобия.
Теорема 2 Пусть \(\Theta \subset \mathbb {R}\), выполнены условия регулярности (см., например, ), функция правдоподобия имеет лишь один локальный максимум, лежащий внутри \(\Theta\) и совпадающий с оценкой максималъного правдоподобия, \(u\), наконец, функиия правдоподобия трижды дифферениируема по \(\theta\) и при этом существует не зависящая от \(\theta\) функиия \(M(x)\) такая, что для всех \(\theta \in \Theta\) \[
\left|\frac{\partial ^{3} p_{\theta }(x)}{\partial \theta ^{3}}\right| \leq M(x), \qquad \mathbb {E}_{\theta }\left[M(X_1)\right] < \infty
\] Тогда оценка максимального правдоподобия является асимптотически нормальной оценкой \(\theta\) с асимптотической дисперсией \[
n \left(\Var [\theta ]{\frac{\partial L_{\theta }}{\partial \theta }}\right)^{-1}
\]
Метод выборочных квантилей
Определение 1 Пусть \(F(x)\) – функция распределения на \(\mathbb {R}\). Заметим, что \(F: \mathbb {R} \to [0,1]\). Пусть, кроме того, \(p \in (0,1)\). Квантильной функцией распределения \(F(x)\) называют обобщенную обратную функцию к \(F\):
\[
Q: [0,1] \to \mathbb {R} \cup \left\{ -\infty , +\infty \right\} , \qquad Q(p) := \inf \{ x: F(x) \geq p\}
\] \(Q(p)\) еще называют квантилью уровня \(p \in (0,1)\).
Заметим, что если \(F\) биективна, т.е. возрастает строго и не имеет разрывов, то квантильная функция (во всяком случае на интервале \((0,1)\)) – это просто обратная функция к \(F\): \(Q = F^{-1}\).
Медианой распределения \(F\) называется квантиль уровня \(\frac{1}{2}\), т.е. значение \(Q(0.5)\).
Определение 2 Пусть \(X_{1}, \ldots , X_{n}\) – выборка из неизвестного распределения \(\mathbb {P}\). Статистику \[
\widehat{Q}(p) := X_{(\lceil np \rceil )} = \begin{cases} X_{([n p]+1)}, & \text{ если } n p \notin \mathbb {Z} \\ X_{(n p)}, & \text{ если } n p \in \mathbb {Z}\end{cases}
\] называют выборочной \(p\)-квантилью.
Теорема 3 (об асимптотической нормальности выборочной квантили) Пусть \(X_{1}, \ldots X_{n}\)- выборка из абсолютно непрерывного одномерного распределения \(\mathbb {P}\) с плотностью \(f\). Пусть \(Q(p)\) – это \(p\)-квантиль распределения \(\mathbb {P}\), причём функция \(f\) непрерывно дифференцируема в некоторой окрестности точки \(Q(p)\) u \(f\left(Q(p)\right)>0\). Тогда \[
\sqrt{n} \left(\widehat{Q}(p) - Q(p)\right) \xrightarrow {d} \xi \sim \mathcal{N}\left(0, \frac{1}{4 f^{2}\left(Q(p)\right)}\right),
\] т.е. \(\widehat{Q}(p)\) – ас. нормальная оценка \(Q(p)\) с ас. дисперсией \(\frac{1}{4 f^{2}\left(z_{p}\right)}\).
Определение 3 Выборочной медианой выборки \(X_{1}, \ldots X_{n}\) называют статистику \[
\widehat{\mu }= \begin{cases} X_{(k+1)}, & \text{ если } n=2 k+1 \\ \frac{X_{(k)}+X_{(k+1)}}{2}, & \text{ если } n=2 k\end{cases}
\]
Асимптотическое поведение \(\widehat{\mu }\) схоже с поведением \(\widehat{Q}(0.5)\): в условиях теоремы о выборочной квантили выполнено
\[
\sqrt{n}\left(\widehat{\mu }-Q(0.5)\right) \xrightarrow {d} \xi \sim \mathcal{N}\left(0, \frac{1}{4 f^{2}\left(Q(0.5)\right)}\right)
\]
(этот факт носит название теоремы о выборочной медиане).
Пусть \(X_{1}, \ldots , X_{n}\) – выборка из распределения Коши со сдвигом \(\theta\). Найдите асимптотически нормальную оценку параметра \(\theta\) и ее асимптотическую дисперсию.
Плотность распределения Коши имеет вид \[
p_{\theta }(x)=\frac{1}{\pi \left(1+(x-\theta )^{2}\right)}
\] Так как у случайной величины с таким распределением нет конечного математического ожидания, то воспользоваться центральной предельной теоремой нам не удастся. Очевидно, \(Q(0.5)=\theta\). Поэтому, по теореме об асимптотической нормальности выборочной медианы, \(\hat{\mu }\) – асимптотически нормальная оценка \(\theta\) с асимптотической дисперсией \[
\frac{1}{4 p_{\theta }^{2}(\theta )}=\frac{\pi ^{2}}{4}
\]
Предложите асимптотически нормальную оценку параметра \(\theta^2\) в модели распределения Коши \(\operatorname {Cauchy}(\theta , 1)\) со сдвигом \(\theta\) (см. предыдущую задачу), а также найдите её асимптотическую дисперсию.
Прочие задачи
Пусть \(X_1 \sim U[0, \theta ], \; \theta > 0\). Найдите несмещённую оценку параметра \(\frac{1}{\theta }\).
Пусть \(X_1, \ldots , X_n\) – выборка из распределения \(\PoisDistribution {\lambda }, \; \lambda > 0\). Найдите несмещённую оценку параметра \(\lambda^3\).