Сравнение оценок и эффективные оценки

Во второй главе мы рассмотрели свойства оценок, а в третьей главе научились находить оценки с такими свойствами. Возникает естественный вопрос: какая из двух оценок, обладающих одинаковыми свойствами (например, состоятельностью, несмещенностью или асимптотической нормальностью), лучше? В этой главе мы поговорим о сравнении оценок.

1 Сравнение оценок

Пусть \(\Theta \subset \mathbb {R}\). Пусть, кроме того, \(g: \mathbb {R}^{2} \rightarrow \mathbb {R}-\) некоторая функция (называемая функцией потерь, как правило, симметричная), принимающая только положительные значения (например, \(g(x, y)=|x-y|\) или \(\left.g(x, y)=(x-y)^{2}\right)\). Функция \(g(x, y)=(x-y)^{2}\) называется квадратичной функцией потерь.

Определение 1 Пусть \(\theta^{*}\) – оценка параметра \(\theta\). Функция \(R\left(\theta^{*}, \theta \right) = \mathbb {E}_{\theta }\left[g\left(\theta^{*}, \theta \right)\right]\) называется функцией риска оценки \(\theta^{*}\).

Говорят, что оценка \(\theta^{*}\) лучше оценки \(\hat{\theta }\) в равномерном подходе с функиией потерь \(g\), если для любого \(\theta \in \Theta\) выполнено \(R\left(\theta^{*}, \theta \right) \leq R(\hat{\theta }, \theta )\) и для некоторого \(\theta \in \Theta\) неравенство строгое. Если \(\theta^{*}\) лучше всех других оценок в равномерном подходе с функцией потерь \(g\) в некотором классе оценок \(\mathcal{K}\) параметра \(\theta\) (например, в классе всех несмещенных оценок), то оценку \(\theta^{*}\) называют наилучшей в классе \(\mathcal{K}\) в равномерном подходе \(c\) функиией потерь \(g\). Равномерный подход с квадратичной функцией потерь называется среднеквадратичным.

Если \(\Theta \subset \mathbb {R}^{k}\), где \(k>1\), то оценка \(\theta^{*}\) лучше оценки \(\hat{\theta }\) в среднеквадратичном подходе, если для любых \(\theta \in \Theta\) и \(a \in \mathbb {R}^{k}\) выполнено

\[ \mathbb {E}_{\theta }\left[\left\langle \theta ^{*}-\theta , a \right\rangle \right] \leq \mathbb {E}_{\theta }\left[\left\langle \hat{\theta }-\theta , a \right\rangle \right] \] и для некоторых \(\theta \in \Theta\) и \(a \in \mathbb {R}^{k}\) неравенство строгое.

Определения, данные выше, применимы не только к оценкам \(\left\{ \theta^*\right\}\) самого параметра \(\theta\), но и к оценкам \(\left\{ \tau^*\right\}\) произвольного сложного параметра \(\tau (\theta )\).

ExampleПример 1

Пусть \(X_{1}, \ldots , X_{n}\)- выборка из равномерного распределения на \([0, \theta ]\). Найдите наилучшую оценку параметра \(\theta\) в классе \(\mathcal{K}=\left\{ c X_{(1)}, c \in \mathbb {R}\right\}\) в среднеквадратичном подходе.

SolutionРешение

Напомним, что \(\mathbb {E}_{\theta }\left[X_{(1)}\right] =\frac{\theta }{n+1}\). Действительно, плотность случайной величины \(X_{(1)}\) равна

\[ p(x)= - \frac{d}{dx}\mathbb {P}_{\theta }\left(X_{(1)} > x\right) = n \frac{(\theta -x)^{n-1}}{\theta ^{n}} \] Искомое значение математического ожидания получается интегрированием функции \(x p(x)\) на отрезке \([0, \theta ]\).

Далее,

\[ \begin{align} \mathbb {E}_{\theta }\left[X_{(1)}^2\right] & = \int _{0}^{\theta } x^{2} n \frac{(\theta -x)^{n-1}}{\theta ^{n}} d x=\int _{0}^{\theta }(x-\theta )^{2} n \frac{x^{n-1}}{\theta ^{n}} d x= \\ & =\int _{0}^{\theta }\left(\frac{n x^{n+1}}{\theta ^{n}}-2 \frac{n x^{n}}{\theta ^{n-1}}+\frac{n x^{n-1}}{\theta ^{n-2}}\right) d x= \\ & =\frac{n \theta ^{2}}{n+2}-\frac{2 n \theta ^{2}}{n+1}+\theta ^{2}=\frac{2 \theta ^{2}}{(n+1)(n+2)} \end{align} \] Тогда наилучшая оценка равна \(c X_{(1)}\), где

\[ c=\operatorname {argmin}\left(\mathrm{E}_{\theta }\left(c X_{(1)}-\theta \right)^{2}\right) =\operatorname {argmin}\left(\frac{2 \theta ^{2}}{(n+1)(n+2)} c^{2}-\frac{2 \theta ^{2}}{n+1} c+\theta ^{2}\right)=\frac{n+2}{2} \]

В последней задаче, разумеется, лишь одна оценка в классе является несмещенной (при \(c=n+1)\).

Итак, у нас появилась численная характеристика “хорошести” оценки. Если мы хотим оценить какой-то параметр для заданной модели, нужно, казалось бы, просто выбрать среди всех оценок наилучшую в указанном выше смысле. Однако равномерность по параметру \(\theta\) в определении выше – достаточно сильное условие. Как правило, если у нас есть 2 произвольные оценки \(\theta_1^*, \theta_2^*\) параметра \(\theta \in \Theta\), у первой из них функция риска меньше функции риска второй на одной части параметрического множества \(\Theta_1 \subset \Theta\), а на другой больше:

\[ \begin{align} \mathbb {E}_{\theta }\left[\left(\theta _1^* - \theta \right)^2\right] & \leq \mathbb {E}_{\theta }\left[\left(\theta _2^* - \theta \right)^2\right], \quad \theta \in \Theta _1, \\ \mathbb {E}_{\theta }\left[\left(\theta _1^* - \theta \right)^2\right] & \geq \mathbb {E}_{\theta }\left[\left(\theta _2^* - \theta \right)^2\right], \quad \theta \in \Theta _2. \end{align} \]

Т.е. ни про какую оценок \(\theta_1^*, \theta_2^*\) нельзя сказать, что она лучше другой в равномерном подходе. Кроме того, множество вообще всех возможных оценок \(\theta\) может оказаться слишком большим для рассмотрения, ведь нам надо для каждой из них вычислить функцию риска. Если не накладывать какие-то ограничения на класс \(\mathcal{K}\) оценок \(\theta\), задача нахождения наилучшей из них в равномерном подходе со среднеквадратической функцией потерь зачастую оказывается слишком сложной или вообще неразрешимой. Кроме того, смещенная оценка может оказаться лучше (в указанном выше смысле) несмещенной в некоторых случаях. Поэтому принято сужать класс \(\mathcal{K}\), рассматривать только несмещенные оценки.

Определение 2 Наилучшую оценку \(\theta^* = \theta^*(X_1, \ldots , X_n)\) параметра \(\theta (\theta )\) в классе несмещенных в равномерном подходе с квадратичной функцией потерь называют оптимальной.

Заметим, что в случае несмещенной оценки и квадратичной функции потерь функция риска просто равна дисперсии оценки: имеем \(\mathbb {E}_{\theta }\left[\theta^*\right] = \theta , \; \forall \theta \in \Theta\) и

\[ R(\theta ^*, \theta (\theta )) = \mathbb {E}_{\theta }\left[\left(\theta ^* - \theta \right)^2\right] = \Var [\theta ]{\theta ^*} \] В связи с этим оптимальную оценку еще называют несмещенной оценкой с минимальной дисперсией и используют сокращение НОМД. В английской литературе для оптимальной оценки принято сокращение MVUE (или UMVUE) – [uniformly] minimum-variance unbiased estimator.

Данное определение также применимо к оценкам \(\left\{ \theta^*\right\}\) самого параметра \(\theta\), но и к оценкам \(\left\{ \tau^*\right\}\) произвольного сложного параметра \(\tau (\theta )\).

ProblemЗадача 1

Пусть \(X_1,\ldots , X_n\) – выборка из равномерного распределения на отрезке \([0,\theta ], \theta > 0\). Сравните следующие оценки параметра \(\theta\) в равномерном подходе с квадратичной функцией потерь: \[ 2\overline{X}, \quad (n+1)X_{(1)}, \quad \frac{n+1}{n}X_{(n)} \]

ProblemЗадача 2

Пусть \(\widehat{\theta }_1(X), \widehat{\theta }_2(X)\) и — две наилучшие в среднеквадратичном подходе оценки параметра \(\theta\) в классе всех оценок с одним и тем же математическим ожиданием \(\tau (\theta )\). Докажите, что тогда для любого \(\theta\) они совпадают почти наверное, т.е. \(\widehat{\theta }_1(X) = \widehat{\theta }_2(X)\) \(\mathbb {P}_{\theta }\)-п.н. $$

HintПодсказка

Рассмотреть $$\(\frac{\theta _1^* + \theta _2^*}{2}\). Доказать, что она тоже оптимальна (при помощи неравенства Коши-Буняковского). Далее получить линейную зависимоть\(\theta _1^*\)и\(\theta _2^*\).$

2 Эффективные оценки

При некоторых условиях на неизвестное распределение оптимальную оценку можно найти. Пусть $\[$X=X_1, , X_n$-- выборка из неизвестного одномерного распределения$P_, $. Пусть\]– одномерный параметр, т.е.\(R\). Пусть, кроме того, существует функция правдоподобия\(f_(X) = f_(X_1, , X_n)\), т.е. семейство доминируемо относительно некоторой меры\[на прямой. Как правило, речь идет о мере Лебега\]на прямой (в этом случае имеем выборку из неизвестного непрерывного параметрического распределения) или о считающей мере\[на$Z$(в этом случае имеем выборку из неизвестного дискретного распределения). Для простоты будем считать, что мы имеем выборку из непрерывного распределения, хотя в общем случае мера\]может быть произвольной.$

2.1 Нижняя оценка для дисперсии несмещенной оценки

Заметим, что поскольку функция правдоподобия $\[$f_(X_1, , X_n)$является плотностью, если в качестве аргументов не использовать случайные величины, а использовать$(x_1, , x_n) = x\]$$, имеем

\[ \begin{align} 1 & = \int _{\mathbb {R}^{n}} \mathbb {P}_{(X_1, \ldots , X_n)}(dx) = \int _{\mathbb {R}^{n}} f_\theta (x) \lambda (dx) = \int _{\mathbb {R}^{n}} f_\theta (x) dx \\ 0 = \frac{\partial }{\partial \theta }1 & = \frac{\partial }{\partial \theta } \int _{\mathbb {R}^{n}} f_\theta (x) dx \end{align} \]

где \(x = (x_1, \ldots , x_n)\). Представим, что мы можем менять частное дифференцирование по \(\theta\) и знак интеграла. Тогда имеем

\[ 0 = \frac{\partial }{\partial \theta } \int _{\mathbb {R}^{n}} f_\theta (x) dx = \int _{\mathbb {R}^{n}} \frac{\partial }{\partial \theta }f_\theta (x) dx = \int _{\mathbb {R}^{n}} \left[\underbrace{\frac{1}{f_\theta (x)} \frac{\partial }{\partial \theta }f_\theta (x)}_{= \frac{\partial }{\partial \theta } \ln (f_{\theta }(x))}\right] \cdot f_\theta (x) dx = \mathbb {E}_{\theta }\left[\frac{\partial }{\partial \theta } \ln (f_{\theta }(X))\right] \]

Определение 3 Случайная величина \[ V(X, \theta ) = \frac{\partial }{\partial \theta } L_{\theta }(X) = \frac{\partial }{\partial \theta } \ln \left(f_\theta (X)\right) = \frac{1}{f_\theta (X)} \frac{\partial }{\partial \theta }f_\theta (X) \] называется вкладом выборки \(X\).

Как мы только что выяснили, матожидание вклада равно нулю.

Пусть \(T(X)\) – несмещенная оценка параметра \(\tau (\theta )\). Тогда

\[ \begin{align} \Covariance [\theta ]{T(X)}{V(X,\theta )} & = \mathbb {E}_{\theta }\left[TV\right] - \mathbb {E}_{\theta }\left[T\right]\mathbb {E}_{\theta }\left[V\right] = \mathbb {E}_{\theta }\left[TV\right] = \\ & = \int _{\mathbb {R}^{n}} T(x) V(x,\theta ) f_\theta (x)dx = \int _{\mathbb {R}^{n}} T(x) \frac{\partial }{\partial \theta }f_\theta (X)dx = \\ & = \int _{\mathbb {R}^{n}} \frac{\partial }{\partial \theta } \left[T(x) f_\theta (X)\right]dx \end{align} \]

Представим снова, что мы можем менять знаки дифференцирования и интегрирования. Тогда

\[ \Covariance [\theta ]{T}{V} = \int _{\mathbb {R}^{n}} \frac{\partial }{\partial \theta } \left[T(x) f_\theta (X)\right]dx = \frac{\partial }{\partial \theta } \int _{\mathbb {R}^{n}}T(x) f_\theta (X)dx = \frac{\partial }{\partial \theta } \mathbb {E}_{\theta }\left[T\right] = \frac{\partial }{\partial \theta }\tau (\theta ) = \tau '(\theta ) \]

С другой стороны, применяя неравенство Коши-Буняковского-Шварца, получаем \(\left(\Covariance [\theta ]{T}{V}\right)^2 \leq \Var [\theta ]{T}\Var [\theta ]{V}\). Таким образом, мы получили [Неравенство Рао-Крамера: нижняя граница для функции риска несмещенной оценки] Пусть \(T\) – несмещенная оценка \(\tau (\theta )\). Тогда для любого \(\theta \in \Theta\)

\[ \Var [\theta ]{T} \geq \frac{(\tau '(\theta ))^2}{\Var [\theta ]{V}} \]

Коэффициент \(\Var [\theta ]{V} = \mathbb {E}_{\theta }\left[V^2\right]\) называют информацией Фишера и обзначают \(I(\theta )\).

Если в неравенстве Рао-Крамера достигается равенство, то \(T\) называется эффективной оценкой \(\tau (\theta )\). Напомним, что равеноство в неравенстве КБШ достигается, если 2 вектора линейно зависимы, т.е. один из векторов является вторым, умноженным на константу. [Критерий эффективности] Равенство в неравенстве Рао-Крамера достигается тогда и только тогда, когда \(T-\tau (\theta ) = c(\theta ) V(X,\theta )\) для некоторого \(c(\theta )\), т.е. когда оценка \(T\) является линейной функцией от вклада¹. Более того, по следнее равенство выполнено в том и только том случае, когда \(c(\theta )=\frac{\tau^{\prime }(\theta )}{n i(\theta )}\).

Заметим, что равенство в неравенстве Рао-Крамера может быть выполнено только для одной несмещенной оценки, и эта оценка является наилучшей в среднеквадратичном подходе в классе всех несмещенных оценок \(\tau (\theta )\).

Заметим, что (если выполнены условия регулярности) эффективная оценка всегда будет оптимальной. т.е. наилучшей несмещенной. При этом оптимальная оценка не всегда эффективная: условия регулярности не всегда выполняются, и в таких случаях об эффективных оценках вообще говорить нельзя. При этом оптимальная может существовать, подробнее см. в следующей главе.

2.2 Условия регулярности

Полученные выше оценки выполнены, только если выполнены т.н. условия регулярности:

• Информация Фишера всегда определена: для любого \(x\), такого что \(f_\theta (x) > 0\),

  \[ \frac{\partial }{\partial \theta } \ln \left(f_\theta (x)\right) \] определено и конечно.

• Операции интегрирования по \(x\) и дифференцирования по \(\theta\) можно поменять местами при вычислении матожидания \(T\), то есть выполнено

  \[ \frac{\partial }{\partial \theta } \left[\int T(x) f_\theta (x) dx\right] = \int T(x) \left[\frac{\partial }{\partial \theta }f_\theta (x)\right] dx \] всегда, когда правая часть конечна.

Подробнее об условиях регулярности можно почитать в . Скажем лишь, что если носитель неизвестного распределения зависит от параметра \(\theta\) (например, \(U[0,\theta ]\)), то условия регулярности невыполнены. Если же неизвестное семейство является экспоненциальным семейством (см. следующую главу), то условия регулярности будут выполнены.

Пусть \(i(\theta )\)- количество информации, содержащейся в одном элементе выборки \(X_{1}\).

ExampleПример 2

Покажите, что \(I_{X}(\theta )=n i(\theta )\).

SolutionРешение

По условию регулярности, интеграл от \(S(x) p_{\theta }(x)\) можно дифференцировать под знаком интеграла. В частности,

\[ \int _{\mathcal{X}} \frac{\partial }{\partial \theta } p_{\theta }(x) \mu (d x) = \frac{\partial }{\partial \theta } \int _{\mathcal{X}} p_{\theta }(x) \mu (d x)=0 . \] Здесь и далее в подобных случаях мы обозначаем \(\mathbb {E}\left[X\right] =: \int_{x} x p(x) \mu (d x)\), имея в виду интеграл Римана в случае абсолютно непрерывного распределения случайной величины \(X\) с плотностью \(p\) и сумму (возможно, бесконечную) в случае дискретного распределения случайной величины \(X\) с \(p(x) = \mathbb {P}\left(X = x\right)\).

Таким образом,

\[ \mathbb {E}_{\theta }\left[ \frac{\partial }{\partial \theta } \ln p_{\theta }\left(X_{1}\right)\right] = \int _{\mathcal{X}} \frac{\partial p_{\theta }(x)}{\partial \theta } \frac{p_{\theta }(x)}{p_{\theta }(x)} \mu (d x)=0 . \] Следовательно,

\[ I_{X}(\theta ) = \Var [\theta ]{\frac{\partial }{\partial \theta } L_{\theta }(X)} = \Var [\theta ]{\sum _{i=1}^{n} \frac{\partial }{\partial \theta } \ln p_{\theta }\left(X_{i}\right)} = \sum _{i=1}^{n} \Var [\theta ]{\frac{\partial }{\partial \theta } \ln p_{\theta }\left(X_{i}\right)} = n i(\theta ) . \]

ExampleПример 3

Пусть \(X_{1}, \ldots , X_{n}\)- выборка из распределения Бернулли с параметром \(\theta\). Найдите эффективную оценку \(\theta\) и информацию \(i(\theta )\).

SolutionРешение

Для рассматриваемой в задаче параметрической модели выполнены условия регулярности. Функция правдоподобия равна \[ f_{\theta }(X)=\theta ^{\sum X_{i}}(1-\theta )^{n-\sum X_{i}} . \] Тогда \[ V(X,\theta ) = \frac{\partial }{\partial \theta } \ln f_{\theta }(X)=\frac{\sum X_{i}}{\theta }-\frac{n-\sum X_{i}}{1-\theta } = \frac{\sum X_{i}-n \theta }{\theta (1-\theta )}=\frac{n}{\theta (1-\theta )}(\bar{X}-\theta ) \] По критерию эффективности, получаем, что \(\overline{X}\) – эффективная оценка \(\theta\). Кроме того, \[ \frac{\theta (1-\theta )}{n}=\frac{1}{n i(\theta )} \] Следовательно, \(i(\theta )=\frac{1}{\theta (1-\theta )}\).

AnswerОтвет

\(\overline{X}\), \(i(\theta ) = \frac{1}{\theta (1-\theta )}\).

ProblemЗадача 3

Пусть \(X_1,\ldots , X_n\) – выборка из биномиального распределения с параметрами \((m,p)\), причем \(m\) известно. Найдите информацию Фишера \(i(p)\) в данной модели, а также эффективную оценку параметра \(p\).

HintПодсказка

Функцию вероятностей \(\BinomDistribution {m}{p}\) удобно записать так: \(f(x) = C_{m}^x p^{x}(1-p)^{m-x}, \; x \in \left\{ 0,1,\ldots ,m\right\}\)

ProblemЗадача 4

Пусть \(X_1,\ldots , X_n\) – выборка из экспоненциального распределения с параметром \(\theta\). Для каких функций \(\tau (\theta )\) существует эффективная оценка? Вычислите информацию Фишера \(\tau (\theta )\) одного наблюдения в данной модели.

ProblemЗадача 5

Пусть \(X_1,\ldots , X_n\) – выборка из нормального распределения с параметрами \((a, \sigma^2)\). Найдите эффективную оценку

1. параметра \(a\), если \(a\) известно;

2. параметра \(\sigma^2\), если \(a\) известно. Вычислите информацию Фишера одного наблюдения в обоих случаях.

ProblemЗадача 6

Пусть \(X_1,\ldots , X_n\) – выборка из логистического распределения со сдвигом \(\theta\), имеющего плотность \[ p_{\theta }(x) = \frac{\exp (\theta -x)}{\left(1 + \exp (\theta - x)\right)^2} \] Найдите информацию Фишера \(i(\theta )\) одного наблюдения в этой модели.

ProblemЗадача 7

Пусть \(X_1,\ldots , X_n\) – выборка из равномерного закона на отрезке \([0,\theta ]\). Вычислите информацию Фишера \(i(\theta )\), заключенную в статистике \(X_{(n)}\).

ProblemЗадача 8

Пусть \(X_1,\ldots , X_n\) – выборка из распределения Гумбеля с функцией распределения \[ F_{\theta }(x) = e^{-e^{-\theta x}}, \quad \theta > 0 \] Для каких функций \(\tau (\theta )\) существует эффективная оценка?

ProblemЗадача 9

Пусть \(X_1,\ldots , X_n\) – выборка из распределения \(\mathscr {N}\left(\theta , \theta^2\right)\). Для каких функций \(\tau (\theta )\) существует эффективная оценка? Вычислите информацию Фишера \(i(\theta )\) одного элемента выборки.

Сноски

1. Напомним, что неизвестный параметр \(\theta\) мы считаем константой, следовательно \(c(\theta )\) и \(\tau (\theta )\) тоже являются константами, хоть и неизвестными нам.