Сравнение оценок и эффективные оценки

ПредупреждениеЧерновик

Этот конспект ещё находится в процессе редактуры: в тексте могут встречаться опечатки, неточности и локально не проработанные места. Если что-то нашли — сообщите, пожалуйста, автору (контакты на странице курса).

Мы рассмотрели удобные свойства оценок и научились находить оценки. Возникает естественный вопрос: какая из двух оценок, обладающих одинаковыми свойствами (например, состоятельностью, несмещенностью или асимптотической нормальностью), лучше? В этой главе мы поговорим о сравнении оценок.

1 Сравнение оценок, оптимальная оценка

Для простоты пусть параметр одномерный, \(\Theta \subset \mathbb {R}\). Пусть \(g: \mathbb {R}^{2} \rightarrow \mathbb {R}\) – некоторая симметричная функция, принимающая только неотрицательные значения. Такая функция \(g\) называется функцией потерь. Например, \(g(x, y)=|x-y|\). Или \(g(x,y)=(x-y)^{2}\) – такая функция называется квадратичной функцией потерь.

Определение 1 Пусть \(\widehat{\theta }\) – оценка параметра \(\theta\). Функция

\[ R_{\theta }\left(\widehat{\theta }\right) := \mathbb {E}_{\theta }\left[g\left(\widehat{\theta }, \theta \right)\right] \]

называется функцией риска оценки \(\widehat{\theta }\).

Говорят, что оценка \(\widehat{\theta }\) лучше оценки \(\widehat{\theta }'\) в равномерном подходе с функцией потерь \(g\), если для любого \(\theta \in \Theta\) выполнено

\[ R_{\theta }\left(\widehat{\theta }\right) \leq R_{\theta }\left(\widehat{\theta }'\right) \]

и для некоторого \(\theta \in \Theta\) неравенство строгое.

Если \(\widehat{\theta }\) лучше всех других оценок в равномерном подходе с функцией потерь \(g\) в некотором классе оценок \(\mathcal{K}\) параметра \(\theta\) (например, в классе всех несмещенных оценок), то оценку \(\widehat{\theta }\) называют наилучшей в классе \(\mathcal{K}\) в равномерном подходе с функцией потерь \(g\). Равномерный подход с квадратичной функцией потерь называется среднеквадратичным.

Определения, данные выше, применимы не только к оценкам \(\left\{ \theta^*\right\}\) самого параметра \(\theta\), но и к оценкам \(\left\{ \tau^*\right\}\) произвольного сложного параметра \(\tau (\theta )\).

ExampleПример 1

Пусть \(X_{1}, \ldots , X_{n}\) – выборка из равномерного распределения на \([0, \theta ]\), \(\theta > 0\). Найдите наилучшую оценку параметра \(\theta\) в классе \(\mathcal{K}=\left\{ c X_{(1)}, c \in \mathbb {R}\right\}\) в среднеквадратичном подходе.

SolutionРешение

Плотность \(X_{(1)}\) равна

\[ p(x) = -\frac{d}{dx}\mathbb {P}_{\theta }\left(X_{(1)} > x\right) = n\frac{(\theta - x)^{n-1}}{\theta ^n}, \quad x \in [0,\theta ], \]

откуда интегрированием \(x\, p(x)\) по \([0,\theta ]\) находим \(\mathbb {E}_{\theta }\left[X_{(1)}\right] = \dfrac {\theta }{n+1}\).

Аналогично вычисляется второй момент. Заменой \(x \mapsto \theta - x\) под интегралом:

\[ \begin{align} \mathbb {E}_{\theta }\left[X_{(1)}^2\right] & = \int _{0}^{\theta } x^{2}\, n\frac{(\theta -x)^{n-1}}{\theta ^{n}}\, dx = \int _{0}^{\theta } (x-\theta )^{2}\, n\frac{x^{n-1}}{\theta ^{n}}\, dx \\ & = \int _{0}^{\theta }\left(\frac{n\, x^{n+1}}{\theta ^{n}} - \frac{2n\, x^{n}}{\theta ^{n-1}} + \frac{n\, x^{n-1}}{\theta ^{n-2}}\right) dx \\ & = \frac{n\theta ^2}{n+2} - \frac{2n\theta ^2}{n+1} + \theta ^2. \end{align} \]

Приведем к общему знаменателю \((n+1)(n+2)\):

\[ \begin{align} \mathbb {E}_{\theta }\left[X_{(1)}^2\right] & = \frac{n(n+1)\theta ^2 - 2n(n+2)\theta ^2 + (n+1)(n+2)\theta ^2}{(n+1)(n+2)} = \frac{2\theta ^2}{(n+1)(n+2)}. \end{align} \]

Наилучшая оценка в классе \(\mathcal{K}\) имеет вид \(cX_{(1)}\), где

\[ \begin{align} c = \operatorname *{arg\, min}_{c \in \mathbb {R}}\; \mathbb {E}_{\theta }\left[\left(cX_{(1)} - \theta \right)^2\right]. \end{align} \]

Раскроем квадрат и подставим найденные моменты \(\mathbb {E}_{\theta }\left[X_{(1)}\right] = \frac{\theta }{n+1}\), \(\mathbb {E}_{\theta }\left[X_{(1)}^2\right] = \frac{2\theta^2}{(n+1)(n+2)}\):

\[ \begin{align} \mathbb {E}_{\theta }\left[\left(cX_{(1)} - \theta \right)^2\right] & = c^2\mathbb {E}_{\theta }\left[X_{(1)}^2\right] - 2c\theta \mathbb {E}_{\theta }\left[X_{(1)}\right] + \theta ^2 \\ & = \frac{2\theta ^2}{(n+1)(n+2)}\, c^2 - \frac{2\theta ^2}{n+1}\, c + \theta ^2. \end{align} \]

Это парабола по \(c\) с положительным старшим коэффициентом, ее минимум достигается в вершине:

\[ \begin{align} c = \frac{\dfrac {2\theta ^2}{n+1}}{2 \cdot \dfrac {2\theta ^2}{(n+1)(n+2)}} = \frac{n+2}{2}. \end{align} \]

(Ответ не зависит от \(\theta\), поэтому оценка \(\frac{n+2}{2}X_{(1)}\) действительно наилучшая в \(\mathcal{K}\) равномерно по \(\theta\).)

Замечание. Единственная несмещённая оценка в классе \(\mathcal{K}\) – это \((n+1)X_{(1)}\), и она почти вдвое отличается от наилучшей.

AnswerОтвет

\(\frac{n+2}{2}X_{(1)}\).

Итак, у нас появилась числовая характеристика <<качества>> оценки, и кажется естественным искать наилучшую оценку среди всех возможных в указанном смысле. Однако равномерность по \(\theta\) – весьма сильное требование. Как правило, для двух произвольных оценок \(\widehat{\theta }_1, \widehat{\theta }_2\) параметра \(\theta \in \Theta\) функция риска первой меньше на одной части множества \(\Theta\) и больше – на другой:

\[ \begin{align} \mathbb {E}_{\theta }\left[\left(\widehat{\theta }_1 - \theta \right)^2\right] & \leq \mathbb {E}_{\theta }\left[\left(\widehat{\theta }_2 - \theta \right)^2\right], \quad \theta \in \Theta _1, \\ \mathbb {E}_{\theta }\left[\left(\widehat{\theta }_1 - \theta \right)^2\right] & \geq \mathbb {E}_{\theta }\left[\left(\widehat{\theta }_2 - \theta \right)^2\right], \quad \theta \in \Theta _2, \end{align} \]

так что ни одну из них нельзя назвать равномерно лучше другой.

Двигайте слайдеры (n) и (_0) — кривые риска и зона выигрыша константной оценки пересчитываются, точки пересечения решаются заново.

Пересекающиеся функции риска: среднее против константы

Модель \(\mathrm{Bern}(\theta)\), \(n\) наблюдений. Сравниваются \(R_\theta(\bar X) = \dfrac{\theta(1-\theta)}{n}\) и \(R_\theta(\theta_0) = (\theta-\theta_0)^2\) — риск «глупой» константной оценки, не зависящей от данных.

\(n =\) 10 \(\theta_0 =\) 0.50

Кроме того, множество всех мыслимых оценок параметра, как правило, слишком велико, чтобы вычислять функцию риска для каждой из них. Без ограничений на класс \(\mathcal{K}\) задача поиска наилучшей оценки (в равномерном среднеквадратичном подходе) зачастую неразрешима. Наконец, смещённая оценка иногда оказывается лучше несмещённой в этом смысле. По этим причинам класс \(\mathcal{K}\) принято сужать – например, ограничиваясь только несмещёнными оценками.

Определение 2 Наилучшую оценку \(\theta^* = \theta^*(X_1, \ldots , X_n)\) параметра \(\theta\) в классе несмещенных оценок в равномерном подходе с квадратичной функцией потерь называют оптимальной.

Данное определение также применимо не только к оценкам самого параметра \(\theta\), но и к оценкам произвольного сложного параметра \(\tau = \tau (\theta )\).

Пусть \(\widehat{\theta }\) – это несмещенная оценка \(\theta\), т.е.

\[ \mathbb {E}_{\theta }\left[\widehat{\theta }\right] = \theta , \qquad \forall \theta \in \Theta \]

Тогда функция риска (с квадратичной функцией потерь) просто равна дисперсии оценки:

\[ R_{\theta }\left(\widehat{\theta }\right) = \mathbb {E}_{\theta }\left[\left(\widehat{\theta } - \theta \right)^2\right] = \operatorname {Var}_{\theta }\left[\widehat{\theta }\right], \qquad \forall \theta \in \Theta \]

Оптимальную оценку еще называют несмещенной с минимальной дисперсией и используют сокращение НМД. В английской литературе для оптимальной оценки принято сокращение MVU estimator или UMVU estimator – uniformly minimum-variance unbiased estimator.

ProblemЗадача 1

Пусть \(X_1,\ldots , X_n\) – выборка из равномерного распределения на отрезке \([0,\theta ], \theta > 0\). Сравните следующие оценки параметра \(\theta\) в равномерном подходе с квадратичной функцией потерь: \[ 2\overline{X}, \quad (n+1)X_{(1)}, \quad \frac{n+1}{n}X_{(n)} \]

HintПодсказка

Они все несмещенные.

ProblemЗадача 2

Пусть \(\widehat{\theta }_1(\vec{X}), \widehat{\theta }_2(\vec{X})\) — две наилучшие в среднеквадратичном подходе оценки параметра \(\theta\) в классе всех оценок с одним и тем же математическим ожиданием \(\tau (\theta )\). Докажите, что тогда для любого \(\theta\) они совпадают почти наверное, т.е. \[ \widehat{\theta }_1(\vec{X}) = \widehat{\theta }_2(\vec{X}) \quad \mathbb {P}_{\theta }\text{-п.н.} \]

HintПодсказка

Рассмотрите \(\frac{\widehat{\theta }_1 + \widehat{\theta }_2}{2}\). Докажите, что она тоже оптимальна (при помощи неравенства Коши-Буняковского). Далее получите линейную зависимость \(\widehat{\theta }_1\) и \(\widehat{\theta }_2\).

2 Эффективные оценки

При некоторых условиях на неизвестное распределение оптимальную оценку можно гарантированно найти. Пусть \(\vec{X}=\left(X_{1}, \ldots , X_{n}\right)\) – выборка из неизвестного одномерного распределения \(\mathbb {P}_{\theta }, \theta \in \Theta\). Пусть \(\theta\) – одномерный параметр, т.е. \(\Theta \subset \mathbb {R}\). Пусть, кроме того, существует функция правдоподобия \(L(\theta ) = L(\theta ; \vec{x})\), т.е. семейство доминируемо относительно некоторой меры \(\mu\) на прямой. Как правило, речь идет о мере Лебега \(\lambda\) на прямой (в этом случае имеем выборку из неизвестного непрерывного параметрического распределения) или о считающей мере \(\#\) на \(\mathbb {Z}\) (в этом случае имеем выборку из неизвестного дискретного распределения).

2.1 Вклад выборки

Функция правдоподобия \(L(\theta ; \vec{x})\) – это плотность, если при фиксированном \(\theta\) ее варьировать по \(\vec{x}\). Площадь под графиком плотности равна \(1\):

\[ \begin{align} 1 = \int _{\mathbb {R}^{n}} L(\theta ; \vec{x}) \; \; d\vec{x} , \qquad \forall \theta \in \Theta \end{align} \]

Пусть \(\Theta\) – это открытое множество. Продифференцируем обе части по \(\theta\), полагая, что дифференцирование по \(\theta\) и интегрирование по \(\vec{x}\) можно поменять местами:

\[ \begin{align} 0 & = \frac{\partial }{\partial \theta } \int _{\mathbb {R}^{n}} L(\theta ; \vec{x}) \; \; d\vec{x} = \int _{\mathbb {R}^{n}} \frac{\partial }{\partial \theta }L(\theta ; \vec{x}) \; \; d\vec{x} = \\ & = \int _{\mathbb {R}^{n}} \left[\underbrace{\left(\frac{\partial }{\partial \theta }L(\theta ; \vec{x})\right) \cdot \frac{1}{L(\theta ; \vec{x})} }_{= \frac{\partial }{\partial \theta } \ln (L(\theta ; \vec{x}))=\frac{\partial }{\partial \theta }\ell (\theta , \vec{x})}\right] \cdot L(\theta ; \vec{x}) \; \; d\vec{x} = \\ & = \int _{\mathbb {R}^{n}} \left(\frac{\partial }{\partial \theta }\ell (\theta , \vec{x})\right) \cdot \underbrace{L(\theta ; \vec{x})}_{\text{плотность}} \; \; d\vec{x} = \mathbb {E}_{\theta }\left[\frac{\partial }{\partial \theta } \ell (\theta , \vec{X})\right], \qquad \forall \theta \in \Theta , \end{align} \]

где \(\ell (\theta , \vec{x}) = \ln L(\theta , \vec{x})\) – логправдоподобие.

Определение 3 Случайная величина (зависящая от \(\theta\)) \[ V = V(\vec{X}; \theta ) := \frac{\partial }{\partial \theta } \ell (\theta , \vec{X}) \] называется вкладом выборки \(\vec{X}\).

Как мы только что выяснили, матожидание вклада равно нулю при любом \(\theta \in \Theta\).

2.2 Нижняя оценка для дисперсии несмещенной оценки: неравенство Рао-Крамера

Пусть \(\widehat{\tau } = \widehat{\tau }(\vec{X})\) – несмещенная оценка какого-то сложного параметра \(\tau = \tau (\theta )\). Тогда, снова полагая, что дифференцирование по \(\theta\) и интегрирование по \(\vec{x}\) можно поменять местами, получаем

\[ \begin{align} \operatorname {Cov}_{\theta }\left[ \widehat{\tau }, V \right] & = \mathbb {E}_{\theta }\left[\widehat{\tau }V\right] - \mathbb {E}_{\theta }\left[\widehat{\tau }\right]\mathbb {E}_{\theta }\left[V\right] = \mathbb {E}_{\theta }\left[\widehat{\tau }V\right] = \\ & = \int _{\mathbb {R}^{n}} \widehat{\tau }(\vec{x}) V(\vec{x},\theta ) \cdot \underbrace{L(\theta ; \vec{x})}_{\text{плотность}}\; d\vec{x} = \\ & = \int _{\mathbb {R}^{n}} \widehat{\tau }(\vec{x}) \frac{\partial }{\partial \theta }L(\theta ; \vec{x})\; d\vec{x} = \\ & = \int _{\mathbb {R}^{n}} \frac{\partial }{\partial \theta } \left[\widehat{\tau }(\vec{x}) L(\theta ; \vec{x})\right]\; d\vec{x} = \frac{\partial }{\partial \theta } \int _{\mathbb {R}^{n}}\widehat{\tau }(\vec{x}) L(\theta ; \vec{x})\; d\vec{x} = \\ & = \frac{\partial }{\partial \theta } \mathbb {E}_{\theta }\left[\widehat{\tau }\right] = \frac{\partial }{\partial \theta }\tau (\theta ) = \tau '(\theta ) \end{align} \]

С другой стороны, применяя неравенство Коши-Буняковского-Шварца, получаем \(\left(\operatorname {Cov}_{\theta }\left[ \widehat{\tau }, V \right]\right)^2 \leq \operatorname {Var}_{\theta }\left[\widehat{\tau }\right]\operatorname {Var}_{\theta }\left[V\right]\). Таким образом, мы получили

Теорема 1 (Неравенство Рао-Крамера: нижняя граница для дисперсии несмещенной оценки) Пусть \(\widehat{\tau }\) – несмещенная оценка \(\tau (\theta )\). Тогда для любого \(\theta \in \Theta\) \[ \operatorname {Var}_{\theta }\left[\widehat{\tau }\right] \geq \frac{(\tau '(\theta ))^2}{\operatorname {Var}_{\theta }\left[V\right]} \]

Коэффициент \(\operatorname {Var}_{\theta }\left[V\right] = \mathbb {E}_{\theta }\left[V^2\right]\) называют информацией Фишера и обозначают \(I(\theta )\).

Если в неравенстве Рао-Крамера достигается равенство, то \(\widehat{\tau }\) называется эффективной оценкой \(\tau (\theta )\). Напомним, что равенство в неравенстве КБШ достигается, если 2 вектора линейно зависимы, т.е. один из векторов является вторым, умноженным на константу.

Теорема 2 (Критерий эффективности) Равенство в неравенстве Рао-Крамера достигается тогда и только тогда, когда \(\widehat{\tau }-\tau (\theta ) = c(\theta ) V(X,\theta )\) для некоторого \(c(\theta )\), т.е. когда оценка \(\widehat{\tau }\) является линейной функцией от вклада¹. Более того, последнее равенство выполнено в том и только том случае, когда \(c(\theta )=\frac{\tau^{\prime }(\theta )}{n i(\theta )}\).

Равенство в неравенстве Рао-Крамера может быть выполнено только для одной несмещенной оценки, и эта оценка является наилучшей в среднеквадратичном подходе в классе всех несмещенных оценок \(\tau (\theta )\).

Эффективная оценка всегда будет оптимальной, т.е. наилучшей несмещенной. При этом оптимальная оценка не всегда эффективная: условия регулярности не всегда выполняются, и в таких случаях об эффективных оценках вообще говорить нельзя. При этом оптимальная в таких случаях может существовать, подробнее см. далее.

2.3 Условия регулярности

Полученные выше результаты верны, только если выполнены т.н. условия регулярности:

• Информация Фишера всегда определена: для любого \(\vec{x}\), такого что \(L(\theta ; \vec{x}) > 0\), величина

  \[ \frac{\partial }{\partial \theta } \ln \left(L(\theta ; \vec{x})\right) \]

  определена и конечна для всех \(\theta \in \Theta\).

• Операции интегрирования по \(x\) и дифференцирования по \(\theta\) можно поменять местами при вычислении матожидания \(\widehat{\tau }\), то есть выполнено

  \[ \frac{\partial }{\partial \theta } \left[\int \widehat{\tau }(\vec{x}) L(\theta ; \vec{x}) \; d\vec{x}\right] = \int \widehat{\tau }(\vec{x}) \left[\frac{\partial }{\partial \theta }L(\theta ; \vec{x})\right] \; d\vec{x} \]

  всегда, когда правая часть конечна.

Подробнее об условиях регулярности можно почитать в (Боровков 2010 г.). Скажем лишь, что если носитель неизвестного распределения зависит от параметра \(\theta\) (например, \(U[0,\theta ]\)), то условия регулярности не выполнены.

Условия регулярности выполнены в любом из следующих случаев:

• у всех \(\mathbb {P}_{\theta }, \theta \in \Theta\) ограниченный носитель, который не зависит от \(\theta\);

• семейство \(\left\{ \mathbb {P}_\theta , \theta \in \Theta \right\}\) – экспоненциальное (см. определение экспоненциального семейства выше), а \(\Theta\) – открытое множество: в этом случае плотность \(p_\theta (x) = h(x)\exp \left(\sum_i a_i(\theta ) u_i(x) + v(\theta )\right)\) достаточно гладко зависит от \(\theta\), носитель автоматически не зависит от \(\theta\), и дифференцирование под знаком интеграла законно.

2.4 Задачи

Пусть \(i(\theta )\) – количество информации, содержащейся в одном элементе выборки \(X_{1}\).

ExampleПример 2

Покажите, что \(I_{X}(\theta )=n i(\theta )\).

SolutionРешение

По условию регулярности, интеграл от \(S(\vec{x}) p_{\theta }(\vec{x})\) можно дифференцировать под знаком интеграла. В частности,

\[ \int _{\mathcal{X}} \frac{\partial }{\partial \theta } p_{\theta }(\vec{x}) \mu (d \vec{x}) = \frac{\partial }{\partial \theta } \int _{\mathcal{X}} p_{\theta }(\vec{x}) \mu (d \vec{x})=0 . \]

Здесь и далее в подобных случаях мы обозначаем \(\mathbb {E}\left[X\right] =: \int_{x} \vec{x} p(\vec{x}) \mu (d \vec{x})\), имея в виду интеграл Римана в случае абсолютно непрерывного распределения случайной величины \(\vec{X}\) с плотностью \(p\) и сумму (возможно, бесконечную) в случае дискретного распределения случайной величины \(\vec{X}\) с \(p(\vec{x}) = \mathbb {P}\left(X = \vec{x}\right)\).

Таким образом,

\[ \mathbb {E}_{\theta }\left[ \frac{\partial }{\partial \theta } \ln p_{\theta }\left(X_{1}\right)\right] = \int _{\mathcal{X}} \frac{\partial p_{\theta }(\vec{x})}{\partial \theta } \frac{p_{\theta }(\vec{x})}{p_{\theta }(\vec{x})} \mu (d \vec{x})=0 . \]

Следовательно,

\[ I_{X}(\theta ) = \operatorname {Var}_{\theta }\left[\frac{\partial }{\partial \theta } \ln L(\theta ; \vec{X})\right] = \operatorname {Var}_{\theta }\left[\sum _{i=1}^{n} \frac{\partial }{\partial \theta } \ln p_{\theta }\left(X_{i}\right)\right], \]

и, поскольку слагаемые – функции от независимых \(X_i\), дисперсия суммы распадается в сумму дисперсий:

\[ I_{X}(\theta ) = \sum _{i=1}^{n} \operatorname {Var}_{\theta }\left[\frac{\partial }{\partial \theta } \ln p_{\theta }\left(X_{i}\right)\right] = n i(\theta ) . \]

ExampleПример 3

Пусть \(X_{1}, \ldots , X_{n}\)- выборка из распределения Бернулли с параметром \(\theta\). Найдите эффективную оценку \(\theta\) и информацию \(i(\theta )\).

SolutionРешение

Для рассматриваемой в задаче параметрической модели выполнены условия регулярности. Функция правдоподобия равна \[ L(\theta ; \vec{X})=\theta ^{\sum X_{i}}(1-\theta )^{n-\sum X_{i}} . \] Тогда \[ V(X,\theta ) = \frac{\partial }{\partial \theta } \ln L(\theta ; \vec{X})=\frac{\sum X_{i}}{\theta }-\frac{n-\sum X_{i}}{1-\theta } = \frac{\sum X_{i}-n \theta }{\theta (1-\theta )}=\frac{n}{\theta (1-\theta )}(\bar{X}-\theta ) \] По критерию эффективности, получаем, что \(\overline{X}\) – эффективная оценка \(\theta\). Кроме того, \[ \frac{\theta (1-\theta )}{n}=\frac{1}{n i(\theta )} \] Следовательно, \(i(\theta )=\frac{1}{\theta (1-\theta )}\).

AnswerОтвет

\(\overline{X}\), \(i(\theta ) = \frac{1}{\theta (1-\theta )}\).

ProblemЗадача 3

Пусть \(X_1,\ldots , X_n\) – выборка из биномиального распределения с параметрами \((m,p)\), причем \(m\) известно. Найдите информацию Фишера \(i(p)\) в данной модели, а также эффективную оценку параметра \(p\).

HintПодсказка

Функцию вероятностей \(\operatorname {Bin}\left(m, p\right)\) удобно записать так: \(f(x) = C_{m}^x p^{x}(1-p)^{m-x}, \; x \in \left\{ 0,1,\ldots ,m\right\}\)

ProblemЗадача 4

Пусть \(X_1,\ldots , X_n\) – выборка из экспоненциального распределения с параметром \(\theta\). Для каких функций \(\tau (\theta )\) существует эффективная оценка? Вычислите информацию Фишера \(i(\theta )\) одного наблюдения в данной модели.

ProblemЗадача 5

Пусть \(X_1,\ldots , X_n\) – выборка из нормального распределения с параметрами \((a, \sigma^2)\). Найдите эффективную оценку

1. параметра \(a\), если \(\sigma^2\) известно;

2. параметра \(\sigma^2\), если \(a\) известно. Вычислите информацию Фишера одного наблюдения в обоих случаях.

ProblemЗадача 6

Пусть \(X_1,\ldots , X_n\) – выборка из логистического распределения со сдвигом \(\theta\), имеющего плотность \[ p_{\theta }(x) = \frac{\exp (\theta -x)}{\left(1 + \exp (\theta - x)\right)^2} \] Найдите информацию Фишера \(i(\theta )\) одного наблюдения в этой модели.

ProblemЗадача 7

Пусть \(X_1,\ldots , X_n\) – выборка из равномерного закона на отрезке \([0,\theta ]\). Вычислите информацию Фишера \(i(\theta )\), заключенную в статистике \(X_{(n)}\).

HintПодсказка

Проверьте, выполнены ли условия регулярности для распределения статистики \(X_{(n)}\).

ProblemЗадача 8

Пусть \(X_1,\ldots , X_n\) – выборка из распределения Гумбеля с функцией распределения \[ F_{\theta }(\vec{x}) = e^{-e^{-\theta \vec{x}}}, \quad \theta > 0 \] Для каких функций \(\tau (\theta )\) существует эффективная оценка?

ProblemЗадача 9

Пусть \(X_1,\ldots , X_n\) – выборка из распределения \(\mathscr {N}\left(\theta , \theta^2\right)\). Для каких функций \(\tau (\theta )\) существует эффективная оценка? Вычислите информацию Фишера \(i(\theta )\) одного элемента выборки.

использованная литература

Боровков, А. А. 2010 г. Математическая статистика. 4-я изд. Лань. https://disk.yandex.ru/i/_88urnXn73izuA.

Сноски

1. Напомним, что неизвестный параметр \(\theta\) мы считаем константой, следовательно \(c(\theta )\) и \(\tau (\theta )\) тоже являются константами, хоть и неизвестными нам.