Критерии согласия
Следующий класс гипотез, который мы рассмотрим в настоящем учебном пособии, – гипотезы о совпадении неизвестного распределения с известным. Иными словами, пусть \(X\) – наблюдение с неизвестным распределением \(\mathbb {P}\), функция распределения которого равна \(F\). Выдвигаются гипотезы
\[ H_0: \; \mathbb {P} = \mathbb {P}_0, \qquad H_1: \; \mathbb {P} \neq \mathbb {P}_0 \]
для некоторого заданного распределения \(\mathbb {P}_0\). Альтернативные распределения никак не конкретизируются, априори может быть ясен лишь тип распределения (например, дискретный или абсолютно непрерывный) и множество значений наблюдения \(X\). Критерии проверки таких гипотез называются критериями согласия. Наиболее известными среди них являются критерий Колмогорова и критерий хи-квадрат, о которых мы и поговорим в этой главе. Первый основывается на сравнении теоретической и эмпирической функции распределения, а второй на сравнении теоретической и эмпирической плотности.
В случае критериев согласия принято использовать те, которые обладают свойством состоятельности.
Определение 1 Если \(X=\left(X_{1}, \ldots , X_{n}\right)\) – выборка, то критерий \(S_{n}\) проверки простой гипотезы \(H_{0}: \mathbb {P} = \mathbb {P}_0\) против \(H_1: \mathbb {P} \neq \mathbb {P}_0\) (фактически, последовательность критериев) называется состоятельным, если при любом \(\mathbb {P} \neq \mathbb {P}_0\) мощность критерия стремится к единице: \[ \beta (\mathbb {P}, S_n) = \mathbb {P}\left(X \in S_n\right) \xrightarrow [n \to \infty ]{} 1, \quad \forall \mathbb {P} \neq \mathbb {P}_0 \] Иначе: вероятность ошибки второго рода \(\mathbb {P}\left(X \not\in S_n\right)\) (\(\mathbb {P} \neq \mathbb {P}_0\)) стремится к нулю, каким бы ни было альтернативное распределение \(\mathbb {P} \neq \mathbb {P}_0\).
1 Сравнение теоретической и эмпирической функций распределения
Пусть имеется выборка \(X=\left(X_{1}, \ldots , X_{n}\right)\) из неизвестного распределения на \(\mathbb {R}\) с непрерывной функцией распределения \(F\). Построим критерий для проверки гипотезы \(H_{0}: \mathbb {P}=\mathbb {P}_{0}\). Если \(F_0\) – функция распределения \(\mathbb {P}_0\), то \(H_0\) можно эквивалентно переформулировать как \(H_0: F = F_0\).
Определение 2 Эмпирическим распределением называется равномерное распределение на множестве \(\left\{ X_1, \ldots , X_n\right\}\). Т.е. это распределение, у которого в каждой точке \(X_i\) сосредоточена масса \(\frac{1}{n}\):
\[ \mathbb {P}_n^* := \sum _{i=1}^n \frac{1}{n}\delta _{X_i}, \] где \(\delta_{a}\) – мера Дирака, равная единичной массе в точке \(a\). Обозн.: \(\mathbb {P}_n^*\). Имеем
\[ \mathbb {P}_n^*(A) = \frac{1}{n}\sum _{i=1}^n \; \mathbb {1}_{X_i \in A} = \overline{\; \mathbb {1}_{X \in A}}, \; A \in \mathscr {B}\left(\mathbb {R}\right). \] Заметим, что \(\mathbb {P}_n^*\) – это оценка истинного распределения. Она случайна, как и любая оценка, поскольку зависит от выборки.
Эмпирической функцией распределения выборки \(X\) называется функция распределения эмпирического распределения:
\[ F_{n}^{*}(x) := \mathbb {P}_n^*\left((-\infty , x]\right) = \frac{\sum _{i=1}^{n}\; \mathbb {1}_{X_i \leq x}}{n} = \overline{\; \mathbb {1}_{X \leq x}} \] Это нестрого возрастающая ступенчатая функция, прыгающая на \(\frac{1}{n}\) в каждом элементе \(X_i\) выборки. При этом это случайная функция: при каждом фиксированном \(x\) величина \(F^*(x)\) зависит от выборки, т.е. это случайная величина.
Докажите, что в предположении гипотезы \(H_{0}: F=F_{0}\) для любого \(x \in \mathbb {R}\) \(F_n^*(x)\) – сильно состоятельная оценка \(F_0(x)\). \[ ::: \]\[x\]$$ случайные величины \(\; \mathbb {1}_{X_i \leq x}, i = 1,\dots ,n\) независимы и распределены одинаково, по закону
\[ \BerDistribution {\mathbb {E}\left[\; \mathbb {1}_{X_1 \leq x}\right]} = \BerDistribution {\mathbb {P}\left(X_1 \leq x\right)} = \BerDistribution {F_0(x)} \]
(если мы предполагаем, что \(F_0\) – истинная функция распределения, из которого взята выборка \(X_1, \dots , X_n\)). Следовательно, по УЗБЧ,
\[ \begin{align} F_n^*(x) = \frac{1}{n}\sum _{i=1}^n \; \mathbb {1}_{X_i \leq x} \xrightarrow [n \to \infty ]{\text{п.н.}} \mathbb {E}\left[\BerDistribution {F_0(x)}\right] = F_0(x) \end{align} \]
Теорема 1 (Гливенко-Кантелли) Пусть верна гипотеза \(H_0: F = F_0\), т.е. истинное распределение задается функцией распределения \(F_0\). Тогда \(F_n^*\) будет сходится п.н. к \(F_0\) в супремум-метрике: \[ \sup _{x \in \mathbb {R}}\left|F_n^*(x) - F_{0}(x) \right| \xrightarrow [n \to \infty ]{\text{п.н.}} 0 \]
1.1 Критерий согласия Колмогорова
Статистикой Колмогорова называется расстояние между функциями \(F_n^*\) и \(F_0\) в супремум-метрике:
\[ \label{GoodOfFit:KolmStatFormula1} D_n := \sup _{x \in \mathbb {R}}\left|F_n^*(x) - F_{0}(x) \right|. \]
Докажите, что если \(H_0\) верна, то распределение \(D_n\) зависит только лишь от \(n\). В частности, оно не зависит от \(F_0\).
Если \(H_0\) верна, то с вероятностью \(1\) каждый элемент выборки попадет в множество \(Q_0((0,1))\), где \(Q_0\) – квантильная функция распределения \(P_0\). Вся выборка с вероятностью \(1\) попадет в \(Q^n_0([0,1])\). Следовательно,
\[ \label{GoodOfFit:KolmStatFormula2} D_n \stackrel{\text{п.н.}}{=} \sup _{x \in Q_0((0,1))}\left|F_n^*(x) - F_{0}(x) \right| \] Далее, применим к выборке \(X_1\), , \(X_n\) вероятностно-интегральное преобразование: \(Y_i := F_0(X_i), \; i \in \left\{ 1,\ldots , n\right\}\). Учитывая предположение о том, что \(F_0\) непрерывна, у \(\mathbb {P}_0\) нет точек с ненулевой массой, \((0,1) \subset F_0(\mathbb {R})\) и \(F_0(\cdot )\) – взаимно-однозначное отображение между \(Q_0((0,1)) \subset \mathbb {R}\) и \((0,1)\): \(F_0^{-1} = Q_0\). \(Y_1, \ldots , Y_n\) – выборка из \(\operatorname {U}[0,1]\).
Заметим, что взаимнооднозначные преобразования аргумента не могут изменить значение супремума в @GoodOfFit:KolmStatFormula1, @GoodOfFit:KolmStatFormula2. Следовательно,
\[ D_n \stackrel{\text{п.н.}}{=} \sup _{y \in (0,1)}\left|F^*(Q(y)) - y\right|. \] При этом \(F^*(Q(y))\) – п.н. эмпирическая функция распределения для выборки \(Y_1, \ldots , Y_n\):
\[ F^*(Q(y)) = \frac{1}{n}\sum _{i=1}^n \; \mathbb {1}_{X_i \leq Q(y)} \stackrel{\text{п.н.}}{=} \frac{1}{n}\sum _{i=1}^n \; \mathbb {1}_{F(X_i) \leq y} = \frac{1}{n}\sum _{i=1}^n \; \mathbb {1}_{Y_i \leq y} \] Таким образом,
\[ D_n \stackrel{\text{п.н.}}{=} \sup _{y \in (0,1)}\left|\tilde{F}_n^*(y) - y \right|, \] где \(\tilde{F}_n^*\) – эмпирическая функция распределения для выборки \(Y_1, \ldots , Y_n\) из \(\operatorname {U}[0,1]\).
Распределение \(D_n\) зависит только от \(n\), однако для конечных \(n\) оно задается слишком громоздкими формулами. Несколько проще выглядит предельное распределение статистики \(D_n\).
Теорема 2 (А. Колмогорова) Пусть гипотеза \(H_{0}\) верна, т.е. распределение \(\mathbb {P}_0\) с функцией распределения \(F_0\) – истинное распределение выборки \(\vect {X}\). Тогда асимптотическое распределение статистики \(D_n\) с множителем \(\sqrt{n}\) – некоторое известное распределение, не зависящее от \(\mathbb {P}_0, F_0\) и называемое распределением Колмогорова (обозн.: \(\operatorname {K}\)):
\[ \sqrt{n}D_n \xrightarrow [n\to \infty ]{d_0} \operatorname {K} \] Распределение Колмогорова \(\operatorname {K}\) может быть определено через функцию распределения \(F_{\operatorname {K}}\):
\[ F_{\operatorname {K}}(t) = \sum _{j=-\infty }^{+\infty }(-1)^{j} e^{-2 j^{2} t^{2}} \cdot \; \mathbb {1}_{t \geq 0} \]
Следствие 1 В условиях теоремы Колмогорова \[ \mathbb {P}_{0}\left(\sqrt{n}D_n \leq t\right) \xrightarrow [n \to \infty ]{} F_{\operatorname {K}}(t), \quad \forall t > 0 \]
Критерий Колмогорова УЗ \(\alpha\) записывается следующим образом: \(\left\{ \sqrt{n} D_{n}> Q_{\operatorname {K}}(1-\alpha )\right\}\), где \(Q_{\operatorname {K}}(\cdot )\) – квантильная функция распределения Колмогорова. Критерий Колмогорова – асимптотический, поскольку мы используем не точное распределение \(D_n\) при каждом \(n\), а лишь распределение в пределе. Критерий Колмогорова принято применять, если \(n \geq 20\).
Докажите, что \[ D_{n}=\max _{1 \leq k \leq n} \max \left\{ \frac{k}{n}-F\left(X_{(k)}\right), F\left(X_{(k)}\right)-\frac{k-1}{n}\right\} . \]
Разумеется, для любого \(k \in \{ 1, \ldots , n-1\}\) на интервале \(\left[X_{(k)}, X_{(k+1)}\right)\) значение функции \(F_{n}^{*}\) постоянно и равно \(\frac{k}{n}\), а функция \(F(x)\) не убывает, поэтому на этом интервале любое значение \(\left|F_{n}^{*}(x)-F(x)\right|\) не превосходит \(\max \left\{ \frac{k}{n}-F\left(X_{(k)}\right), F\left(X_{(k+1)}\right)-\frac{k+1}{n}\right\}\). Кроме того, на интервале \(\left(-\infty , X_{(1)}\right)\) значение функции \(F_{n}^{*}\) равно 0, а следовательно, на этом интервале \(\left|F_{n}^{*}(x)-F(x)\right| \leq F\left(X_{(1)}\right)\). Наконец, на интервале \(\left[X_{(n)}, \infty \right)\) значение функции \(F_{n}^{*}\) равно 1 , а следовательно, на этом интервале \(\left|F_{n}^{*}(x)-F(x)\right| \leq\) \(1-F\left(X_{(n)}\right)\). Так как все значения из правой части равенства (3) достигаются функцией \(\left|F_{n}^{*}(x)-F(x)\right|\), то справедливость этого равенства доказана. $$
Докажите состоятельность критерия Колмогорова.
$\[$S_n = n D_n > K_1 - $. Пусть$P P_0$. Пусть$F\]$$ – функция распределения \(\mathbb {P}\). Нужно доказать, что \(\forall \alpha\)
\[ \begin{align} \mathbb {P}\left(X \in S_n\right) = \mathbb {P}\left(\sqrt{n}D_n > K_{1 - \alpha }\right) \to 1 \end{align} \]
В сущности, нужно доказать, что \(\sqrt{n}D_n \xrightarrow []{d} +\infty\).
Пусть \(h := \sup_x|F_0(x) - F(x)| > 0\). Имеем
\[ \begin{align} \sqrt{n}D_n & = \sqrt{n}\sup _x |F_n^*(x) - F_0(x)| \geq \sqrt{n}\sup _x \left( |F_0(x) - F(x)| - |F_n^*(x) - F(x)| \right) \geq \\ & \geq \sqrt{n} \left(\sup _x|F_0(x) - F(x)| - \sup _x|F_n^*(x) - F(x)| \right) \\ & \sqrt{n} \sup _x|F_0(x) - F(x)| = \sqrt{n} h \xrightarrow []{d} +\infty \\ & - \sqrt{n} \sup _x|F_n^*(x) - F(x)| \xrightarrow []{d} -K \end{align} \]
где \(K\) – распределение Колмогорова. По лемме Слуцкого
\[ \begin{align} \sqrt{n}D_n \geq \sqrt{n} \left(\sup _x|F_0(x) - F(x)| - \sup _x|F_n^*(x) - F(x)| \right) \xrightarrow []{d} +\infty \end{align} \]
Итого,
\[ \begin{align} \sqrt{n}D_n \xrightarrow []{d} +\infty \end{align} \]
ЧТД.
Имеется выборка \(X_{1}, X_{2}, X_{3}\) объема 3. Для проверки гипотезы о том, что выборка взята из равномерного на отрезке [0,1] распределения, используется следующий вариант критерия Колмогорова: гипотеза о равномерности отвергается, если \[ \sup _{y \in [0,1]}\left|F_{3}^{*}(y)-y\right|>1 / 3 . \] Чему равен уровень значимости (размер) этого критерия?
1.2 Критерий Крамера — Мизеса — Смирнова
Статистикой Крамера — Мизеса — Смирнова называется квадрат расстояния между функциями \(F_n^*\) и \(F_0\) в пространстве \(L^{2}[\mathbb {R}, \mathscr {B}\left(\mathbb {R}\right), \mathbb {P}_0]\):
\[ \omega ^2 := \int _{\mathbb {R}} \left|F_n^*(t) - F_0(t)\right|^2 \mathbb {P}_0(dt) = \int _{-\infty }^\infty \left|F_n^*(t) - F_0(t)\right|^2 dF_0(t). \]
Последний интеграл – интеграл Лебега-Стилтьеса.
Как и распределение статистики Колмогорова, распределение статистики \(\omega^2\) не зависит от \(F_0\), если \(H_0\) верна.
Докажите, что если \(H_0\) верна, то \[ \omega ^2 \stackrel{d}{=} \int _{o}^1 \left|\tilde{F}_n^*(y) - y\right|^2 dy, \] где \(\tilde{F}_n^*(y)\) – эмпирическая функция распределения для выборки из \(\operatorname {U}[0,1]\). Т.е. распределение \(\omega^2\) зависит только лишь от \(n\). В частности, оно не зависит от \(F_0\).
Как и в случае с \(D_n\), распределение \(\omega^2\) для конечных \(n\) задается слишком громоздкими формулами, но предельное распределение выглядит более-менее просто.
Теорема 3 (Смирнов) Пусть гипотеза \(H_{0}\) верна, т.е. распределение \(\mathbb {P}_0\) с функцией распределения \(F_0\) – истинное распределение выборки \(X\). Тогда асимптотическое распределение статистики \(\omega^2\) с множителем \(n\) – некоторое известное распределение, не зависящее от \(\mathbb {P}_0, F_0\) и называемое омега-квадрат распределением (обозн.: \(\operatorname {OS}\)):
\[ n\omega ^2 \xrightarrow [n\to \infty ]{d_0} \operatorname {OS} \] Распределение \(\operatorname {OS}\) может быть определено через характеристическую функцию:
\[ \varphi _{\operatorname {OS}}(t) =\prod _{k=1}^\infty \left(1 - \frac{2it}{\pi ^2 k^2}\right)^{-\frac{1}{2}} \]
Критерий Крамера — Мизеса — Смирнова УЗ \(\alpha\) записывается следующим образом: \(\left\{ n \omega^2>Q_{\operatorname {OS}}(1-\alpha )\right\}\), где \(Q_{\operatorname {OS}}(\cdot )\) – квантильная функция распределения омега-квадрат. Критерий Крамера — Мизеса — Смирнова, как и критерий Колмогорова, – асимптотический, поскольку мы используем не точное распределение \(\omega^2\) при каждом \(n\), а лишь распределение в пределе.
Докажите представление \[ \omega ^2 = \frac{1}{12 n^{2}} + \frac{1}{n} \sum _{k=1}^{n} \left(F_0\left(X_{(k)}\right) - \frac{2k-1}{2n}\right)^2. \] С помощью этого представления часто на практике вычисляется значение статистики \(\omega^{2}\).
Докажите состоятельность критерия Крамера — Мизеса — Смирнова.
2 Сравнение теоретической и эмпирической плотностей: критерий хи-квадрат
2.1 Выборка из схемы Бернулли с известными исходами
Пусть \(X_{1}, \ldots , X_{n}\) – выборка из схемы Бернулли с \(m \geq 2\) известными исходами \(A = \left\{ a_1, \ldots , a_m\right\}\). Функция вероятности (обобщенная плотность относительно считающей меры на \(A\)):
\[ p_j := \mathbb {P}\left(X_1 = a_j\right), \; j = \overline{1,m} \]
Нам известны исходы \(a_1, \ldots , a_m\), но неизвестны вероятности \(p_1, \ldots , p_m\). Такое распределение еще называют категориальным и обозначают
\[ \operatorname {Cat}(A, \vect {p}), \qquad \vect {p} = \left(p_1, p_2, \ldots , p_m\right)^T \]
Оценим неизвестное распределение эмпирическим распределением. В таком случае оценка \(p_j\) будет равна частоте попадания выборки в \(a_j\):
\[ \widehat{p_j} = \overline{\; \mathbb {1}_{X = a_j}}, \qquad \widehat{\vect {p}} = \left(\widehat{p}_1, \widehat{p}_2, \ldots , \widehat{p}_m\right)^T \]
Докажите, что \(\widehat{\vect {p}}\) – асимптотически нормальная оценка \(\vect {p}\). Найдите ее асимптотическую ковариационную матрицу.
Пусть
\[ \xi ^{(i)} := \begin{pmatrix} \; \mathbb {1}_{X_i = a_1} \\ \; \mathbb {1}_{X_i = a_2} \\ \vdots \\ \; \mathbb {1}_{X_i = a_m} \end{pmatrix} \] Тогда \(\xi^{(1)}, \xi^{(2)}, \ldots\) – последовательность независимых одинаково распределенных случайных векторов, причем
\[ \frac{1}{n}\sum _{i=1}^n \xi ^{(i)} = \widehat{\vect {p}} \] Далее,
\[ \begin{align} \mathbb {E}\left[\xi ^{(1)}\right] & = \begin{pmatrix} \mathbb {P}\left(X_i = a_1\right) \\ \mathbb {P}\left(X_i = a_2\right) \\ \vdots \\ \mathbb {P}\left(X_i = a_m\right) \end{pmatrix} = \begin{pmatrix} p_1 \\ p_2 \\ \vdots \\ p_m \end{pmatrix} = \vect {p}, \\ \operatorname {Var}\left[\xi ^{(1)}\right] & = \mathbb {E}\left[\xi ^{(1)} \left(\xi ^{(1)}\right)^T\right] - \mathbb {E}\left[\xi ^{(1)}\right]\left(\mathbb {E}\left[\xi ^{(1)}\right]\right)^T = \\ & = \begin{pmatrix} \mathbb {P}\left(X_1 = a_1\right) & \mathbb {P}\left(X_1 = a_1, X_1 = a_2\right) & \ldots & \mathbb {P}\left(X_1 = a_1, X_1 = a_m\right) \\ \mathbb {P}\left(X_1 = a_2, X_1 = a_1\right) & \mathbb {P}\left(X_1 = a_2, X_1 = a_2\right) & \ldots & \mathbb {P}\left(X_1 = a_2, X_1 = a_m\right) \\ \vdots & \vdots & \vdots & \vdots \\ \mathbb {P}\left(X_1 = a_2, X_1 = a_1\right) & \mathbb {P}\left(X_1 = a_2, X_1 = a_2\right) & \ldots & \mathbb {P}\left(X_1 = a_2, X_1 = a_m\right) \end{pmatrix} - \mathbb {E}\left[\xi ^{(1)}\right]\left(\mathbb {E}\left[\xi ^{(1)}\right]\right)^T = \\ & = \begin{pmatrix} p_1 & 0 & 0 & \ldots & 0 \\ 0 & p_2 & 0 & \ldots & 0 \\ \vdots & \vdots & \vdots & \vdots & \vdots \\ 0 & 0 & 0 & \ldots & p_m \end{pmatrix} - \begin{pmatrix} p^2_1 & p_1p_2 & p_1p_3 & \ldots & p_1p_m \\ p_2p_1 & p^2_2 & p_2p_3 & \ldots & p_2p_m \\ \vdots & \vdots & \vdots & \vdots & \vdots \\ p_mp_1 & p_mp_2 & p_mp_3 & \ldots & p_m^2 \end{pmatrix} = \\ & = \begin{pmatrix} p_1(1 - p_1) & -p_1p_2 & -p_1p_3 & \ldots & -p_1p_m \\ -p_2p_1 & p_2(1 - p_2) & -p_2p_3 & \ldots & -p_2p_m \\ \vdots & \vdots & \vdots & \vdots & \vdots \\ -p_mp_1 & -p_mp_2 & -p_mp_3 & \ldots & p_m(1 - p_m) \end{pmatrix} \end{align} \] По ЦПТ имеем
\[ \sqrt{n}\left(\frac{1}{n}\sum _{i=1}^n \xi ^{(i)} - \vect {p}\right) = \sqrt{n}\left(\widehat{\vect {p}} - \vect {p}\right) \xrightarrow [n \to \infty ]{d} \mathscr {N}\left(0, \operatorname {Var}\left[\xi ^{(1)}\right]\right) \]
2.1.1 Простая гипотеза
Пусть \(A\) – фиксированное множество исходов, пусть имеем следующую параметрическую модель
\[ \mathcal{P} = \left\{ \operatorname {Cat}(A, \vect {p}): \; \vect {p}\in [0,1]^m, \sum _{i=1}^m p_i = 1\right\} . \]
Пусть \(\vect {p}^0 \in [0,1]^m\) – фиксированный вектор, такой что \(\sum_{i=1}^m p_i = 1\). Пусть имеем параметрические гипотезы
\[ H_0: \mathbb {P} = \mathbb {P}_0 = \operatorname {Cat}(A, \vect {p}^0), \qquad H_1: \mathbb {P} \in \mathcal{P}\setminus \left\{ \mathbb {P}_0\right\} = \left\{ \operatorname {Cat}(A, \vect {p}): \vect {p} \neq \vect {p}^0\right\} \]
Иначе:
\[ H_0: \vect {p} = \vect {p}_0, \qquad H_1 : \vect {p} \neq \vect {p}_0 \]
Определение 3 Статистикой хи-квадрат называется статистика \[ \widehat{\chi ^2} := \sum _{j=1}^{m} \frac{\left(\mu _{j}-n p_{j}^{0}\right)^{2}}{n p_{j}^{0}} = \sum _{j=1}^{m} n\frac{\left(\widehat{p_j} - p_{j}^{0}\right)^{2}}{p_{j}^{0}} = \left\| \eta _n\right\| _{2}^2, \] где \[ \mu _{j}=\sum _{i=1}^{n} \; \mathbb {1}_{X_i = a_j}, \qquad \eta _n = \sqrt{n} \begin{pmatrix} \frac{\widehat{p_1} - p_{1}^{0}}{\sqrt{p_{1}^{0}}} \\ \vdots \\ \frac{\widehat{p_m} - p_{m}^{0}}{\sqrt{p_{m}^{0}}} \end{pmatrix}^T = \sqrt{n}B \left(\widehat{\vect {p}} - \vect {p}^0\right), \qquad B = \begin{pmatrix} \sqrt{p_1^0} & 0 & 0 & \ldots & 0 & 0 \\ 0 & \sqrt{p_2^0} & 0 & \ldots & 0 & 0 \\ 0 & 0 & \sqrt{p_3^0} & \ldots & 0 & 0 \\ \vdots & \vdots & \vdots & \vdots & \vdots & \vdots \\ 0 & 0 & 0 & \ldots & \sqrt{p_{m-1}^0} & 0 \\ 0 & 0 & 0 & \ldots & 0 & \sqrt{p_m^0} \\ \end{pmatrix} \]
Теорема 4 (Пирсон) В предположении гипотезы \(H_{0}\) статистика \(\widehat{\chi^2}\) сходится по распределению к хи-квадрат распределению с \(m-1\) степенью свободы: \[ \widehat{\chi ^2} \xrightarrow [n \to \infty ]{d_0} \chi _{m-1}^2 \]
Докажите теорему Пирсона.
Мы доказали выше, что \(\sqrt{n}\left(\widehat{\vect {p}} - \vect {p}^0\right) \xrightarrow [n \to \infty ]{d_0} \eta \sim \mathscr {N}\left(0, \operatorname {Var}\left[\xi^{(1)}\right]\right)\). Следовательно, \(\eta_n \xrightarrow [n \to \infty ]{d_0} \eta \sim \mathscr {N}\left(0, \Sigma \right)\), где
\[ \Sigma := B\cdot \operatorname {Var}\left[\xi ^{(1)}\right] \cdot B^T = \begin{pmatrix} 1 - p^0_1 & -\sqrt{p^0_1p^0_2} & -\sqrt{p^0_1p^0_3} & \ldots & -\sqrt{p^0_1p^0_m} \\ -\sqrt{p^0_2p^0_1} & 1 - p^0_2 & -\sqrt{p^0_2p^0_3} & \ldots & -\sqrt{p^0_2p^0_m} \\ \vdots & \vdots & \vdots & \vdots & \vdots \\ -\sqrt{p^0_mp^0_1} & -\sqrt{p^0_mp^0_2} & -\sqrt{p^0_mp^0_3} & \ldots & 1 - p^0_m \end{pmatrix} \] По теореме о наследовании сходимости по распределению получаем
\[ \left\| \eta _n\right\| _{2}^2 \xrightarrow [n \to \infty ]{d} \left\| \eta \right\| _{2}^2 \] Т.е. нам просто нужно понять, как распределено \(\left\| \eta \right\|_{2}^2\), где \(\eta \sim \mathscr {N}\left(0, \Sigma \right)\).
Исследуем матрицу \(\Sigma\). Матрица \(\Sigma\) – симметричная, следовательно ее сингулярное разложение имеет вид \(\Sigma = U \Lambda U^T\), где \(\Lambda\) – матрица размерности \(\operatorname {rk}(\Sigma ) \times \operatorname {rk}(\Sigma )\) с ненулевыми действительными собственными значениями \(\Sigma\) на диагонали, а \(U\) – матрица размерности \(n \times \operatorname {rk}(\Sigma )\) с ортонормальными вектор-столбцами.
Как найти собственные значения \(\lambda_1, \ldots , \lambda_m\) матрицы \(\Sigma\)? Заметим интересное свойство матрицы \(\Sigma\): \(\Sigma^2 = \Sigma\) (это свойство несложно показать, оставим док-во в качестве упражнения), т.е. \(\Sigma\) идемпотентна. При этом \(\Sigma^2 = U \Lambda U^TU \Lambda U^T = U \Lambda^2 U^T\). Следовательно, собственные значения \(\Sigma\) могут равняться только \(1, 0\). При этом из линейной алгебры известно, что
\[ \lambda _1 + \ldots + \lambda _m = \operatorname {tr}(\Sigma ) = m - \sum _{i=1}^m p_i^0 = m-1 \] Таким образом, \(\lambda_1 = \ldots = \lambda_{m - 1} = 1, \; \lambda_m = 0\).
Далее, по свойствам гауссовских векторов \(\eta = U \Lambda^{1/2} \zeta\), где \(\Lambda^{1/2} = I_{m-1}^{1/2} = I_{m-1}\), а \(\zeta \sim \mathscr {N}\left(0, I_{m-1}\right)\) – вектор из \(m-1\) независимых ст. нормальных сл. величин. Тогда
\[ \left\| \eta \right\| _{2}^2 = \eta ^T \eta = \zeta ^T U^T U \zeta = \zeta ^T \zeta = \left\| \zeta \right\| _{2}^2 \sim \chi ^2_{m-1} \]
Критерий хи-квадрат Пирсона записывается следуюшиим образом: \(\left\{ \widehat{\chi^2}> Q_{\chi^2_{m-1}}(1-\alpha )\right\}\), где \(Q_{\chi^2_{m-1}}(\cdot )\) – квантильная функция распределения \(\chi_{m-1}^{2}\). Критерий хи-квадрат – асимптотический, его принято применять, если \(n \geq 50\) и \(\mu_{j} \geq 5\) для всех \(j \in \{ 1, \ldots , m\}\).
Докажите состоятельность хи-квадрат критерия.
По статистике, собранной в психиатрической больнице в течение года, количество пациентов, поступивших в отделение интенсивной терапии, имело следующее распределение по дням недели: \[ \Pi \mathrm{H}-36, \mathrm{BT}-53, \mathrm{CP}-35, \mathrm{YT}-26, \Pi \mathrm{T}-30, \mathrm{CB}-44, \mathrm{BC}-28. \] Согласуются ли эти данные с гипотезой о том, что попадание в отделение не зависит от дня недели на уровне значимости \(0.05\) и \(0.01\)?
Положим \(m=7, p_{j}^{0}=\frac{1}{7}, j \in \{ 1, \ldots , m\}\). Общее количество наблюдений равно \[ n=36+53+35+26+30+44+28=252 \] Таким образом, \(n p_{j}^{0}=36\) для всех \(j \in \{ 1, \ldots , m\}\). Имеем \[ \widehat{\chi ^2} = 0+8.03+0.03+2.78+1+1.78+1.78=15,4 \] Квантили распределения хи-квадрат с 6 степенями свободы таковы: \(u_{0.95} \approx 12,6, u_{0.99} \approx 16,8\). Таким образом, на уровне значимости \(0.05\) мы гипотезу о равномерном поступлении пациентов отвергаем, а на уровне \(0.01\)- не отвергаем (но во втором случае вероятность ошибки второго рода, разумеется, существенно увеличивается, поэтому высокий уровень значимости не является целесообразным, если наблюдений не так много).
Цифры \(0,1,2, \ldots , 9\) среди 800 первых десятичных знаков числа \(\pi\) появились \(74,92,83,79,80,73,77,75,76,91\) раз соответственно. С помощью хи-квадрат критерия проверьте гипотезу о согласии этих данных с законом равномерного распределения на множестве \(\left\{ 0,1, \ldots , 9\right\}\) на уровне значимости а) \(5\%\), б) \(50\%\), в) \(80\%\).
Профессиональный дантист научился выбивать зубы мудрости кулаком. Известно, что 52 зуба мудрости он выбил с первой попытки, 31 - со второй, 3 - с третьей, на выбивание оставшихся 5 зубов ему потребовалось 4 и более попыток. Проверить гипотезу о том, что дантист выбивает произвольный зуб мудрости с вероятностью \(\frac{2}{3}\), на уровне значимости \(0.1\).
2.1.2 Сложная гипотеза
Критерий хи-квадрат Пирсона можно применять и в случае сложных гипотез
\[ H_0: \vect {p} = \vect {p}^0(\vect {\theta }), \; \vect {\theta } \in \Theta \subset \mathbb {R}^{r}, \; r < m-1, \qquad H_1: \vect {p} \neq \vect {p}^0(\vect {\theta }) \]
При проверке таких гипотез используется также статистика \(\widehat{\chi } = \widehat{\chi }(\vect {\theta })\), при вычислении которой \(\vect {\theta }\) заменяется на оценку максимального правдоподобия
\[ \vect {\theta }^{*} = \argmax _{\vect {\theta } \in \Theta } \prod _{j=1}^{m}\left(p_{j}^{0}(\vect {\theta })\right)^{\mu _{j}} . \]
Теорема 5 (Фишера) Пусть выполнены следующие условия:
гипотеза \(H_{0}\) верна;
для любого \(\vect {\theta } \in \Theta\) справедливо равенство \(\sum_{j=1}^{m} p_{j}(\vect {\theta })=1\);
существует такое положительное число c, что для всех \(j \in \{ 1, \ldots , m\}\) и \(\vect {\theta } \in \Theta\) выполнено \(p_{j}(\vect {\theta }) \geq c\);
для любых \(j \in \{ 1, \ldots , m\} , k, l \in\) ${ 1, , r} $ существуют непрерывные производные \(\frac{\partial p_{j}^{0}(\vect {\theta })}{\partial \theta_{k}}, \frac{\partial^{2} p_{j}^{0}(\vect {\theta })}{\partial \theta_{k} \partial \theta_{l}}\);
матрица, составленная из частных производных
$(j { 1, , m} , k $ \(\{ 1, \ldots , r\} )\), имеет ранг \(r\) для всех \(\theta \in \Theta\).
Тогдa
\[ \widehat{\chi }\left(\vect {\theta }^{*}\right) \xrightarrow [n \to \infty ]{d} \chi _{m-1-r}^{2} \] В случае сложных гипотез критерий хи-квадрат также применяется, если \(n \geq 50\) и \(\mu_{j} \geq 5\) для всех \(j \in \{ 1, \ldots , m\}\).
Проверьте на уровне значимости \(\alpha\) гипотезу о том, что измеряемая величина \(X\) имеет биномиальное распределение с параметрами \((2, \theta )\), если при проведении \(n=128\) измерений она \(\mu_{1}=n / 4\) раз приняла значение \(0, \mu_{2}=n / 4\) раз значение 1 и \(\mu_{3}=n / 2\) раз - значение 2 .
В задаче речь идет о проверке гипотезы \[ H_{0}: p_{1}^{0}(\theta )=(1-\theta )^{2}, p_{2}^{0}(\theta )=2 \theta (1-\theta ), p_{3}^{0}=\theta ^{2}. \] Найдем оценку максимального правдоподобия: \[ \frac{\partial }{\partial \theta }\left(\ln \prod _{j=1}^{3}\left(p_{j}^{0}(\theta )\right)^{\mu _{j}}\right) = -\frac{2 \mu _{1}}{1-\theta }+\frac{\mu _{2}}{\theta }-\frac{\mu _{2}}{1-\theta }+\frac{2 \mu _{3}}{\theta } = \frac{2 \mu _{3}+\mu _{2}-2 n \theta }{\theta (1-\theta )} \] Следовательно, \(\theta^{*}=\frac{2 \mu_{3}+\mu_{2}}{2 n}=\frac{1}{2}\). Окончательно получаем значение статистики \[ \widehat{\chi }(\theta ^*) = \sum _{i=1}^{3} \frac{\left(\mu _{j}-n p_{j}^{0}(1 / 2)\right)^{2}}{n p_{j}^{0}(1 / 2)}=\frac{(n / 4-n / 2)^{2}}{n / 2}+\frac{(n / 2-n / 4)^{2}}{n / 4}=\frac{n}{8}+\frac{n}{4}=\frac{3 n}{8}=48 \] Так как 0.99-квантиль распределения \(\chi_{1}^{2}\) с точностью до четвертого знака после запятой равна \(6.6349\), то гипотезу нельзя принять даже на уровне значимости \(0.01\).
Среди 5000 семей, имеюших трех детей, есть ровно 1010 семей с тремя мальчиками, 2200 семей с двумя мальчиками и одной девочкой, 950 семей с одним мальчиком и двумя девочками (во всех остальных семьях все дети - девочки). Можно ли с уровнем значимости \(\alpha =0.02\) считать, что количество мальчиков \(\xi\) в семье с тремя детьми имеет следуюшее распределение \[ \mathbb {P}\left(\xi = 0\right) = \theta , \quad \mathbb {P}\left(\xi = 0\right) = \theta , \quad \mathbb {P}\left(\xi = 0\right) = 2\theta , \quad \mathbb {P}\left(\xi = 3\right) = 1-4 \theta , \qquad \text{ где } \theta \in \left(0, \frac{1}{4}\right). \]
2.2 Общий случай
Критерий хи-квадрат, как и критерий согласия Колмогорова, применяется для проверки гипотезы о равенстве распределения, из которого берется наша выборка, какому-то определённому распределению \(\mathbb {P}_0\). В отличие от критерия Колмогорова, критерий хи-квадрат не требует больших вычислений, но является менее “точным”. Работать с критерием хи-квадрат в случае произвольного класса распределений можно следующим образом: область значений выборки разбивается на несколько интервалов, после чего вычисляется число членов выборки, попавших в каждый интервал. Полученные значения берутся в качестве \(\mu_{j}\). В качестве \(p_{j}^{0}\) берутся вероятности попадания случайной величины с распределением \(\mathbb {P}_0\) в \(j\)-ый интервал. В сущности сравниваются гистограмма выборки и теоретическая гистограмма распределения \(\mathbb {P}_0\).
По поводу кол-ва классов см. .