Критерии согласия

ПредупреждениеЧерновик

Этот конспект ещё находится в процессе редактуры: в тексте могут встречаться опечатки, неточности и локально не проработанные места. Если что-то нашли — сообщите, пожалуйста, автору (контакты на странице курса).

Следующий класс гипотез, который мы рассмотрим в настоящем учебном пособии, – гипотезы о совпадении неизвестного распределения с известным. Иными словами, пусть \(X\) – наблюдение с неизвестным распределением \(\mathbb {P}\), функция распределения которого равна \(F\). Выдвигаются гипотезы

\[ H_0: \; \mathbb {P} = \mathbb {P}_0, \qquad H_1: \; \mathbb {P} \neq \mathbb {P}_0 \]

для некоторого заданного распределения \(\mathbb {P}_0\). Альтернативные распределения никак не конкретизируются, априори может быть ясен лишь тип распределения (например, дискретный или абсолютно непрерывный) и множество значений наблюдения \(X\). Критерии проверки таких гипотез называются критериями согласия. Наиболее известными среди них являются критерий Колмогорова и критерий хи-квадрат, о которых мы и поговорим в этой главе. Первый основывается на сравнении теоретической и эмпирической функции распределения, а второй на сравнении теоретической и эмпирической плотности.

В случае критериев согласия принято использовать те, которые обладают свойством состоятельности.

Определение 1 Если \(X=\left(X_{1}, \ldots , X_{n}\right)\) – выборка, то критерий \(S_{n}\) проверки простой гипотезы \(H_{0}: \mathbb {P} = \mathbb {P}_0\) против \(H_1: \mathbb {P} \neq \mathbb {P}_0\) (фактически, последовательность критериев) называется состоятельным, если при любом \(\mathbb {P} \neq \mathbb {P}_0\) мощность критерия стремится к единице: \[ \beta (\mathbb {P}, S_n) = \mathbb {P}\left(X \in S_n\right) \xrightarrow [n \to \infty ]{} 1, \quad \forall \mathbb {P} \neq \mathbb {P}_0 \] Иначе: вероятность ошибки второго рода \(\mathbb {P}\left(X \not\in S_n\right)\) (\(\mathbb {P} \neq \mathbb {P}_0\)) стремится к нулю, каким бы ни было альтернативное распределение \(\mathbb {P} \neq \mathbb {P}_0\).

1 Сравнение теоретической и эмпирической функций распределения

Пусть имеется выборка \(X=\left(X_{1}, \ldots , X_{n}\right)\) из неизвестного распределения на \(\mathbb {R}\) с непрерывной функцией распределения \(F\). Построим критерий для проверки гипотезы \(H_{0}: \mathbb {P}=\mathbb {P}_{0}\). Если \(F_0\) – функция распределения \(\mathbb {P}_0\), то \(H_0\) можно эквивалентно переформулировать как \(H_0: F = F_0\).

Определение 2 Эмпирическим распределением называется равномерное распределение на множестве \(\left\{ X_1, \ldots , X_n\right\}\). Т.е. это распределение, у которого в каждой точке \(X_i\) сосредоточена масса \(\frac{1}{n}\):

\[ \mathbb {P}_n^* := \sum _{i=1}^n \frac{1}{n}\delta _{X_i}, \]

где \(\delta_{a}\) – мера Дирака, равная единичной массе в точке \(a\). Обозн.: \(\mathbb {P}_n^*\). Имеем

\[ \mathbb {P}_n^*(A) = \frac{1}{n}\sum _{i=1}^n \; \mathbb {1}_{X_i \in A} = \overline{\; \mathbb {1}_{X \in A}}, \; A \in \mathscr {B}\left(\mathbb {R}\right). \]

Заметим, что \(\mathbb {P}_n^*\) – это оценка истинного распределения. Она случайна, как и любая оценка, поскольку зависит от выборки.

Эмпирической функцией распределения выборки \(X\) называется функция распределения эмпирического распределения:

\[ F_{n}^{*}(x) := \mathbb {P}_n^*\left((-\infty , x]\right) = \frac{\sum _{i=1}^{n}\; \mathbb {1}_{X_i \leq x}}{n} = \overline{\; \mathbb {1}_{X \leq x}} \]

Это нестрого возрастающая ступенчатая функция, прыгающая на \(\frac{1}{n}\) в каждом элементе \(X_i\) выборки. При этом это случайная функция: при каждом фиксированном \(x\) величина \(F^*(x)\) зависит от выборки, т.е. это случайная величина.

ProblemЗадача 1

Докажите, что в предположении гипотезы \(H_{0}: F=F_{0}\) для любого \(x \in \mathbb {R}\) \(F_n^*(x)\) – сильно состоятельная оценка \(F_0(x)\).

Теорема 1 (Гливенко-Кантелли) Пусть верна гипотеза \(H_0: F = F_0\), т.е. истинное распределение задается функцией распределения \(F_0\). Тогда \(F_n^*\) будет сходится п.н. к \(F_0\) в супремум-метрике: \[ \sup _{x \in \mathbb {R}}\left|F_n^*(x) - F_{0}(x) \right| \xrightarrow [n \to \infty ]{\text{п.н.}} 0 \]

1.1 Критерий согласия Колмогорова

Статистикой Колмогорова называется расстояние между функциями \(F_n^*\) и \(F_0\) в супремум-метрике:

\[ D_n := \sup _{x \in \mathbb {R}}\left|F_n^*(x) - F_{0}(x) \right|. \tag{1}\]

Теоретическая функция распределения \(F_0(x)\) и эмпирическая функция распределения \(F_n^*(x)\) по выборке объёма \(n=12\). Статистика Колмогорова \(D_n=\sup_x|F_n^*(x)-F_0(x)|\) отмечена на графике.

ExampleПример 1

Докажите, что если \(H_0\) верна, то распределение \(D_n\) зависит только лишь от \(n\). В частности, оно не зависит от \(F_0\).

SolutionРешение

Если \(H_0\) верна, то с вероятностью \(1\) каждый элемент выборки попадет в множество \(Q_0((0,1))\), где \(Q_0\) – квантильная функция распределения \(P_0\). Вся выборка с вероятностью \(1\) попадет в \(Q^n_0([0,1])\). Следовательно,

\[ D_n \stackrel{\text{п.н.}}{=} \sup _{x \in Q_0((0,1))}\left|F_n^*(x) - F_{0}(x) \right| \tag{2}\]

Далее, применим к выборке \(X_1\), , \(X_n\) вероятностно-интегральное преобразование: \(Y_i := F_0(X_i), \; i \in \left\{ 1,\ldots , n\right\}\). Учитывая предположение о том, что \(F_0\) непрерывна, у \(\mathbb {P}_0\) нет точек с ненулевой массой, \((0,1) \subset F_0(\mathbb {R})\) и \(F_0(\cdot )\) – взаимно-однозначное отображение между \(Q_0((0,1)) \subset \mathbb {R}\) и \((0,1)\): \(F_0^{-1} = Q_0\). \(Y_1, \ldots , Y_n\) – выборка из \(\operatorname {U}[0,1]\).

Заметим, что взаимнооднозначные преобразования аргумента не могут изменить значение супремума в Уравнение 1, Уравнение 2. Следовательно,

\[ D_n \stackrel{\text{п.н.}}{=} \sup _{y \in (0,1)}\left|F_n^*(Q_0(y)) - y\right|. \]

При этом \(F_n^*(Q_0(y))\) – п.н. эмпирическая функция распределения для выборки \(Y_1, \ldots , Y_n\):

\[ F_n^*(Q_0(y)) = \frac{1}{n}\sum _{i=1}^n \; \mathbb {1}_{X_i \leq Q_0(y)} \stackrel{\text{п.н.}}{=} \frac{1}{n}\sum _{i=1}^n \; \mathbb {1}_{F_0(X_i) \leq y} = \frac{1}{n}\sum _{i=1}^n \; \mathbb {1}_{Y_i \leq y} \]

Таким образом,

\[ D_n \stackrel{\text{п.н.}}{=} \sup _{y \in (0,1)}\left|\tilde{F}_n^*(y) - y \right|, \]

где \(\tilde{F}_n^*\) – эмпирическая функция распределения для выборки \(Y_1, \ldots , Y_n\) из \(\operatorname {U}[0,1]\).

Распределение \(D_n\) зависит только от \(n\), однако для конечных \(n\) оно задается слишком громоздкими формулами. Несколько проще выглядит предельное распределение статистики \(D_n\).

Теорема 2 (А. Колмогорова) Пусть гипотеза \(H_{0}\) верна, т.е. распределение \(\mathbb {P}_0\) с функцией распределения \(F_0\) – истинное распределение выборки \(\overrightarrow {X}\). Тогда асимптотическое распределение статистики \(D_n\) с множителем \(\sqrt{n}\) – некоторое известное распределение, не зависящее от \(\mathbb {P}_0, F_0\) и называемое распределением Колмогорова (обозн.: \(\operatorname {K}\)):

\[ \sqrt{n}D_n \xrightarrow [n\to \infty ]{d_0} \operatorname {K} \]

Распределение Колмогорова \(\operatorname {K}\) может быть определено через функцию распределения \(F_{\operatorname {K}}\):

\[ F_{\operatorname {K}}(t) = \sum _{j=-\infty }^{+\infty }(-1)^{j} e^{-2 j^{2} t^{2}} \cdot \; \mathbb {1}_{t \geq 0} \]

Следствие 1 В условиях теоремы Колмогорова \[ \mathbb {P}_{0}\left(\sqrt{n}D_n \leq t\right) \xrightarrow [n \to \infty ]{} F_{\operatorname {K}}(t), \quad \forall t > 0 \]

Критерий Колмогорова УЗ \(\alpha\) записывается следующим образом: \(\left\{ \sqrt{n} D_{n}> Q_{\operatorname {K}}(1-\alpha )\right\}\), где \(Q_{\operatorname {K}}(\cdot )\) – квантильная функция распределения Колмогорова. Критерий Колмогорова – асимптотический, поскольку мы используем не точное распределение \(D_n\) при каждом \(n\), а лишь распределение в пределе. Критерий Колмогорова принято применять, если \(n \geq 20\).

Плотность распределения Колмогорова (предельного распределения статистики \(\sqrt n D_n\)).

ExampleПример 2

Докажите, что

\[ D_{n}=\max _{1 \leq k \leq n} \max \left\{ \frac{k}{n}-F\left(X_{(k)}\right), F\left(X_{(k)}\right)-\frac{k-1}{n}\right\} . \]

SolutionРешение

Разумеется, для любого \(k \in \{ 1, \ldots , n-1\}\) на интервале \(\left[X_{(k)}, X_{(k+1)}\right)\) значение функции \(F_{n}^{*}\) постоянно и равно \(\frac{k}{n}\), а функция \(F(x)\) не убывает, поэтому на этом интервале любое значение \(\left|F_{n}^{*}(x)-F(x)\right|\) не превосходит \(\max \left\{ \frac{k}{n}-F\left(X_{(k)}\right), F\left(X_{(k+1)}\right)-\frac{k}{n}\right\}\) (заметьте, что второй член – это член вида \(F(X_{(j)}) - \frac{j-1}{n}\) при \(j = k+1\)). Кроме того, на интервале \(\left(-\infty , X_{(1)}\right)\) значение функции \(F_{n}^{*}\) равно 0, а следовательно, на этом интервале \(\left|F_{n}^{*}(x)-F(x)\right| \leq F\left(X_{(1)}\right)\). Наконец, на интервале \(\left[X_{(n)}, \infty \right)\) значение функции \(F_{n}^{*}\) равно 1 , а следовательно, на этом интервале \(\left|F_{n}^{*}(x)-F(x)\right| \leq\) \(1-F\left(X_{(n)}\right)\). Так как все значения из правой части доказываемого равенства достигаются функцией \(\left|F_{n}^{*}(x)-F(x)\right|\) (как пределы слева/справа в точках \(X_{(k)}\)), то справедливость этого равенства доказана.

ProblemЗадача 2

Докажите состоятельность критерия Колмогорова.

ProblemЗадача 3

Имеется выборка \(X_{1}, X_{2}, X_{3}\) объема 3. Для проверки гипотезы о том, что выборка взята из равномерного на отрезке [0,1] распределения, используется следующий вариант критерия Колмогорова: гипотеза о равномерности отвергается, если \[ \sup _{y \in [0,1]}\left|F_{3}^{*}(y)-y\right|>1 / 3 . \] Чему равен уровень значимости (размер) этого критерия?

1.2 Критерий Крамера — Мизеса — Смирнова

Статистикой Крамера — Мизеса — Смирнова называется квадрат расстояния между функциями \(F_n^*\) и \(F_0\) в пространстве \(L^{2}\left(\mathbb {R}, \mathscr {B}\left(\mathbb {R}\right), \mathbb {P}_0\right)\):

\[ \omega ^2 := \int _{\mathbb {R}} \left|F_n^*(t) - F_0(t)\right|^2 \mathbb {P}_0(dt) = \int _{-\infty }^\infty \left|F_n^*(t) - F_0(t)\right|^2 dF_0(t). \]

Последний интеграл – интеграл Лебега-Стилтьеса.

Как и распределение статистики Колмогорова, распределение статистики \(\omega^2\) не зависит от \(F_0\), если \(H_0\) верна.

ProblemЗадача 4

Докажите, что если \(H_0\) верна, то \[ \omega ^2 \stackrel{d}{=} \int _{0}^1 \left|\tilde{F}_n^*(y) - y\right|^2 dy, \] где \(\tilde{F}_n^*(y)\) – эмпирическая функция распределения для выборки из \(\operatorname {U}[0,1]\). Т.е. распределение \(\omega^2\) зависит только лишь от \(n\). В частности, оно не зависит от \(F_0\).

Как и в случае с \(D_n\), распределение \(\omega^2\) для конечных \(n\) задается слишком громоздкими формулами, но предельное распределение выглядит более-менее просто.

Теорема 3 (Смирнов) Пусть гипотеза \(H_{0}\) верна, т.е. распределение \(\mathbb {P}_0\) с функцией распределения \(F_0\) – истинное распределение выборки \(X\). Тогда асимптотическое распределение статистики \(\omega^2\) с множителем \(n\) – некоторое известное распределение, не зависящее от \(\mathbb {P}_0, F_0\) и называемое омега-квадрат распределением (обозн.: \(\operatorname {OS}\)):

\[ n\omega ^2 \xrightarrow [n\to \infty ]{d_0} \operatorname {OS} \]

Распределение \(\operatorname {OS}\) может быть определено через характеристическую функцию:

\[ \varphi _{\operatorname {OS}}(t) =\prod _{k=1}^\infty \left(1 - \frac{2it}{\pi ^2 k^2}\right)^{-\frac{1}{2}} \]

Критерий Крамера — Мизеса — Смирнова УЗ \(\alpha\) записывается следующим образом: \(\left\{ n \omega^2>Q_{\operatorname {OS}}(1-\alpha )\right\}\), где \(Q_{\operatorname {OS}}(\cdot )\) – квантильная функция распределения омега-квадрат. Критерий Крамера — Мизеса — Смирнова, как и критерий Колмогорова, – асимптотический, поскольку мы используем не точное распределение \(\omega^2\) при каждом \(n\), а лишь распределение в пределе.

ProblemЗадача 5

Докажите представление \[ \omega ^2 = \frac{1}{12 n^{2}} + \frac{1}{n} \sum _{k=1}^{n} \left(F_0\left(X_{(k)}\right) - \frac{2k-1}{2n}\right)^2. \] С помощью этого представления часто на практике вычисляется значение статистики \(\omega^{2}\).

ProblemЗадача 6

Докажите состоятельность критерия Крамера — Мизеса — Смирнова.

2 Сравнение теоретической и эмпирической плотностей: критерий хи-квадрат

2.1 Выборка из схемы Бернулли с известными исходами

Пусть \(X_{1}, \ldots , X_{n}\) – выборка из схемы Бернулли с \(m \geq 2\) известными исходами \(A = \left\{ a_1, \ldots , a_m\right\}\). Функция вероятности (обобщенная плотность относительно считающей меры на \(A\)):

\[ p_j := \mathbb {P}\left(X_1 = a_j\right), \; j = \overline{1,m} \]

Нам известны исходы \(a_1, \ldots , a_m\), но неизвестны вероятности \(p_1, \ldots , p_m\). Такое распределение еще называют категориальным и обозначают

\[ \operatorname {Cat}(A, \overrightarrow {p}), \qquad \overrightarrow {p} = \left(p_1, p_2, \ldots , p_m\right)^T \]

Оценим неизвестное распределение эмпирическим распределением. В таком случае оценка \(p_j\) будет равна частоте попадания выборки в \(a_j\):

\[ \widehat{p_j} = \overline{\; \mathbb {1}_{X = a_j}}, \qquad \widehat{\overrightarrow {p}} = \left(\widehat{p}_1, \widehat{p}_2, \ldots , \widehat{p}_m\right)^T \]

ExampleПример 3

Докажите, что \(\widehat{\overrightarrow {p}}\) – асимптотически нормальная оценка \(\overrightarrow {p}\). Найдите ее асимптотическую ковариационную матрицу.

SolutionРешение

Пусть

\[ \xi ^{(i)} := \begin{pmatrix} \; \mathbb {1}_{X_i = a_1} \\ \; \mathbb {1}_{X_i = a_2} \\ \vdots \\ \; \mathbb {1}_{X_i = a_m} \end{pmatrix} \]

Тогда \(\xi^{(1)}, \xi^{(2)}, \ldots\) – последовательность независимых одинаково распределенных случайных векторов, причем

\[ \frac{1}{n}\sum _{i=1}^n \xi ^{(i)} = \widehat{\overrightarrow {p}} \]

Далее,

\[ \begin{align} \mathbb {E}\left[\xi ^{(1)}\right] & = \begin{pmatrix} \mathbb {P}\left(X_i = a_1\right) \\ \mathbb {P}\left(X_i = a_2\right) \\ \vdots \\ \mathbb {P}\left(X_i = a_m\right) \end{pmatrix} = \begin{pmatrix} p_1 \\ p_2 \\ \vdots \\ p_m \end{pmatrix} = \overrightarrow {p}, \\ \operatorname {Var}\left[\xi ^{(1)}\right] & = \mathbb {E}\left[\xi ^{(1)} \left(\xi ^{(1)}\right)^T\right] - \mathbb {E}\left[\xi ^{(1)}\right]\left(\mathbb {E}\left[\xi ^{(1)}\right]\right)^T = \\ & = \begin{pmatrix} \mathbb {P}\left(X_1 = a_1\right) & \mathbb {P}\left(X_1 = a_1, X_1 = a_2\right) & \ldots & \mathbb {P}\left(X_1 = a_1, X_1 = a_m\right) \\ \mathbb {P}\left(X_1 = a_2, X_1 = a_1\right) & \mathbb {P}\left(X_1 = a_2, X_1 = a_2\right) & \ldots & \mathbb {P}\left(X_1 = a_2, X_1 = a_m\right) \\ \vdots & \vdots & \vdots & \vdots \\ \mathbb {P}\left(X_1 = a_m, X_1 = a_1\right) & \mathbb {P}\left(X_1 = a_m, X_1 = a_2\right) & \ldots & \mathbb {P}\left(X_1 = a_m, X_1 = a_m\right) \end{pmatrix} - \mathbb {E}\left[\xi ^{(1)}\right]\left(\mathbb {E}\left[\xi ^{(1)}\right]\right)^T \end{align} \]

Поскольку в один момент \(X_1\) принимает ровно одно значение, события \(\left\{ X_1=a_i\right\}\) и \(\left\{ X_1=a_j\right\}\) при \(i \neq j\) несовместны, а при \(i=j\) совпадают; значит, \(\mathbb {P}\left(X_1=a_i, X_1=a_j\right) = 0\) при \(i \neq j\) и \(=p_i\) при \(i=j\), т.е. матрица совместных вероятностей диагональна:

\[ \begin{align} \operatorname {Var}\left[\xi ^{(1)}\right] & = \begin{pmatrix} p_1 & 0 & 0 & \ldots & 0 \\ 0 & p_2 & 0 & \ldots & 0 \\ \vdots & \vdots & \vdots & \vdots & \vdots \\ 0 & 0 & 0 & \ldots & p_m \end{pmatrix} - \begin{pmatrix} p^2_1 & p_1p_2 & p_1p_3 & \ldots & p_1p_m \\ p_2p_1 & p^2_2 & p_2p_3 & \ldots & p_2p_m \\ \vdots & \vdots & \vdots & \vdots & \vdots \\ p_mp_1 & p_mp_2 & p_mp_3 & \ldots & p_m^2 \end{pmatrix} = \\ & = \begin{pmatrix} p_1(1 - p_1) & -p_1p_2 & -p_1p_3 & \ldots & -p_1p_m \\ -p_2p_1 & p_2(1 - p_2) & -p_2p_3 & \ldots & -p_2p_m \\ \vdots & \vdots & \vdots & \vdots & \vdots \\ -p_mp_1 & -p_mp_2 & -p_mp_3 & \ldots & p_m(1 - p_m) \end{pmatrix} \end{align} \]

По ЦПТ имеем

\[ \sqrt{n}\left(\frac{1}{n}\sum _{i=1}^n \xi ^{(i)} - \overrightarrow {p}\right) = \sqrt{n}\left(\widehat{\overrightarrow {p}} - \overrightarrow {p}\right) \xrightarrow [n \to \infty ]{d} \mathscr {N}\left(0, \operatorname {Var}\left[\xi ^{(1)}\right]\right) \]

2.1.1 Простая гипотеза

Пусть \(A\) – фиксированное множество исходов, пусть имеем следующую параметрическую модель

\[ \mathcal{P} = \left\{ \operatorname {Cat}(A, \overrightarrow {p}): \; \overrightarrow {p}\in [0,1]^m, \sum _{i=1}^m p_i = 1\right\} . \]

Пусть \(\overrightarrow {p}^0 \in [0,1]^m\) – фиксированный вектор, такой что \(\sum_{i=1}^m p_i = 1\). Пусть имеем параметрические гипотезы

\[ H_0: \mathbb {P} = \mathbb {P}_0 = \operatorname {Cat}(A, \overrightarrow {p}^0), \qquad H_1: \mathbb {P} \in \mathcal{P}\setminus \left\{ \mathbb {P}_0\right\} = \left\{ \operatorname {Cat}(A, \overrightarrow {p}): \overrightarrow {p} \neq \overrightarrow {p}^0\right\} \]

Иначе:

\[ H_0: \overrightarrow {p} = \overrightarrow {p}_0, \qquad H_1 : \overrightarrow {p} \neq \overrightarrow {p}_0 \]

Определение 3 Статистикой хи-квадрат называется статистика \[ \widehat{\chi ^2} := \sum _{j=1}^{m} \frac{\left(\mu _{j}-n p_{j}^{0}\right)^{2}}{n p_{j}^{0}} = \sum _{j=1}^{m} n\frac{\left(\widehat{p_j} - p_{j}^{0}\right)^{2}}{p_{j}^{0}} = \left\| \eta _n\right\| _{2}^2, \] где \[ \mu _{j}=\sum _{i=1}^{n} \; \mathbb {1}_{X_i = a_j}, \qquad \eta _n = \sqrt{n} \begin{pmatrix} \frac{\widehat{p_1} - p_{1}^{0}}{\sqrt{p_{1}^{0}}} \\ \vdots \\ \frac{\widehat{p_m} - p_{m}^{0}}{\sqrt{p_{m}^{0}}} \end{pmatrix} = \sqrt{n}B \left(\widehat{\overrightarrow {p}} - \overrightarrow {p}^0\right), \qquad B = \begin{pmatrix} \frac{1}{\sqrt{p_1^0}} & 0 & 0 & \ldots & 0 & 0 \\ 0 & \frac{1}{\sqrt{p_2^0}} & 0 & \ldots & 0 & 0 \\ 0 & 0 & \frac{1}{\sqrt{p_3^0}} & \ldots & 0 & 0 \\ \vdots & \vdots & \vdots & \vdots & \vdots & \vdots \\ 0 & 0 & 0 & \ldots & \frac{1}{\sqrt{p_{m-1}^0}} & 0 \\ 0 & 0 & 0 & \ldots & 0 & \frac{1}{\sqrt{p_m^0}} \\ \end{pmatrix} \]

Теорема 4 (Пирсон) В предположении гипотезы \(H_{0}\) статистика \(\widehat{\chi^2}\) сходится по распределению к хи-квадрат распределению с \(m-1\) степенью свободы: \[ \widehat{\chi ^2} \xrightarrow [n \to \infty ]{d_0} \chi _{m-1}^2 \]

ExampleПример 4

Докажите теорему Пирсона.

SolutionРешение

Мы доказали выше, что \(\sqrt{n}\left(\widehat{\overrightarrow {p}} - \overrightarrow {p}^0\right) \xrightarrow [n \to \infty ]{d_0} \eta \sim \mathscr {N}\left(0, \operatorname {Var}\left[\xi^{(1)}\right]\right)\). Следовательно, \(\eta_n \xrightarrow [n \to \infty ]{d_0} \eta \sim \mathscr {N}\left(0, \Sigma \right)\), где \(\Sigma := B\cdot \operatorname {Var}\left[\xi^{(1)}\right] \cdot B^T\). Так как \(B\) диагональна с элементами \(1/\sqrt{p_i^0}\), \((i,j)\)-й элемент \(\Sigma\) равен \((i,j)\)-му элементу \(\operatorname {Var}\left[\xi^{(1)}\right]\), деленному на \(\sqrt{p_i^0p_j^0}\): при \(i=j\) получаем \(p_i^0(1-p_i^0)/p_i^0 = 1-p_i^0\), а при \(i \neq j\) получаем \(-p_i^0p_j^0/\sqrt{p_i^0p_j^0} = -\sqrt{p_i^0p_j^0}\), т.е.

\[ \Sigma = \begin{pmatrix} 1 - p^0_1 & -\sqrt{p^0_1p^0_2} & -\sqrt{p^0_1p^0_3} & \ldots & -\sqrt{p^0_1p^0_m} \\ -\sqrt{p^0_2p^0_1} & 1 - p^0_2 & -\sqrt{p^0_2p^0_3} & \ldots & -\sqrt{p^0_2p^0_m} \\ \vdots & \vdots & \vdots & \vdots & \vdots \\ -\sqrt{p^0_mp^0_1} & -\sqrt{p^0_mp^0_2} & -\sqrt{p^0_mp^0_3} & \ldots & 1 - p^0_m \end{pmatrix} \]

По теореме о наследовании сходимости по распределению получаем

\[ \left\| \eta _n\right\| _{2}^2 \xrightarrow [n \to \infty ]{d} \left\| \eta \right\| _{2}^2 \]

Т.е. нам просто нужно понять, как распределено \(\left\| \eta \right\|_{2}^2\), где \(\eta \sim \mathscr {N}\left(0, \Sigma \right)\).

Исследуем матрицу \(\Sigma\). Матрица \(\Sigma\) – симметричная, следовательно ее сингулярное разложение имеет вид \(\Sigma = U \Lambda U^T\), где \(\Lambda\) – матрица размерности \(\operatorname {rk}(\Sigma ) \times \operatorname {rk}(\Sigma )\) с ненулевыми действительными собственными значениями \(\Sigma\) на диагонали, а \(U\) – матрица размерности \(m \times \operatorname {rk}(\Sigma )\) с ортонормальными вектор-столбцами.

Как найти собственные значения \(\lambda_1, \ldots , \lambda_m\) матрицы \(\Sigma\)? Заметим интересное свойство матрицы \(\Sigma\): \(\Sigma^2 = \Sigma\) (это свойство несложно показать, оставим док-во в качестве упражнения), т.е. \(\Sigma\) идемпотентна. При этом \(\Sigma^2 = U \Lambda U^TU \Lambda U^T = U \Lambda^2 U^T\). Следовательно, собственные значения \(\Sigma\) могут равняться только \(1, 0\). При этом из линейной алгебры известно, что

\[ \lambda _1 + \ldots + \lambda _m = \operatorname {tr}(\Sigma ) = m - \sum _{i=1}^m p_i^0 = m-1 \]

Таким образом, \(\lambda_1 = \ldots = \lambda_{m - 1} = 1, \; \lambda_m = 0\).

Далее, по свойствам гауссовских векторов \(\eta = U \Lambda^{1/2} \zeta\), где \(\Lambda^{1/2} = I_{m-1}^{1/2} = I_{m-1}\), а \(\zeta \sim \mathscr {N}\left(0, I_{m-1}\right)\) – вектор из \(m-1\) независимых ст. нормальных сл. величин. Тогда

\[ \left\| \eta \right\| _{2}^2 = \eta ^T \eta = \zeta ^T U^T U \zeta = \zeta ^T \zeta = \left\| \zeta \right\| _{2}^2 \sim \chi ^2_{m-1} \]

Критерий хи-квадрат Пирсона записывается следующим образом: \(\left\{ \widehat{\chi^2}> Q_{\chi^2_{m-1}}(1-\alpha )\right\}\), где \(Q_{\chi^2_{m-1}}(\cdot )\) – квантильная функция распределения \(\chi_{m-1}^{2}\). Критерий хи-квадрат – асимптотический, его принято применять, если \(n \geq 50\) и \(\mu_{j} \geq 5\) для всех \(j \in \{ 1, \ldots , m\}\).

ProblemЗадача 7

Докажите состоятельность хи-квадрат критерия.

ExampleПример 5

По статистике, собранной в психиатрической больнице в течение года, количество пациентов, поступивших в отделение интенсивной терапии, имело следующее распределение по дням недели: \[ \Pi \mathrm{H}-36, \mathrm{BT}-53, \mathrm{CP}-35, \mathrm{YT}-26, \Pi \mathrm{T}-30, \mathrm{CB}-44, \mathrm{BC}-28. \] Согласуются ли эти данные с гипотезой о том, что попадание в отделение не зависит от дня недели на уровне значимости \(0.05\) и \(0.01\)?

SolutionРешение

Положим \(m=7, p_{j}^{0}=\frac{1}{7}, j \in \{ 1, \ldots , m\}\). Общее количество наблюдений равно

\[ n=36+53+35+26+30+44+28=252 \]

Таким образом, \(n p_{j}^{0}=36\) для всех \(j \in \{ 1, \ldots , m\}\). Отклонения наблюденных частот от ожидаемой по дням (Пн, Вт, Ср, Чт, Пт, Сб, Вс) равны

\[ \mu _j - 36 = 0, \; 17, \; -1, \; -10, \; -6, \; 8, \; -8, \]

а вклад каждого дня в статистику, т.е. слагаемое \((\mu_j-36)^2/36\), равен

\[ 0, \quad \frac{17^2}{36} \approx 8.03, \quad \frac{1^2}{36}\approx 0.03, \quad \frac{10^2}{36}\approx 2.78, \quad \frac{6^2}{36}=1, \quad \frac{8^2}{36}\approx 1.78, \quad \frac{8^2}{36}\approx 1.78. \]

Суммируя, получаем

\[ \widehat{\chi ^2} = 0+8.03+0.03+2.78+1+1.78+1.78=15.4. \]

Наблюденные частоты поступлений в отделение по дням недели (данные из условия примера выше, \(n=252\)) против ожидаемых при \(H_0\) (равномерное распределение по дням, \(np_j^0 = 36\) — пунктирная линия). Наведите курсор на столбец, чтобы увидеть его вклад \((\mu_j-36)^2/36\) в статистику \(\chi^2\). Ползунок «переместить пациентов» позволяет перераспределить наблюдения между двумя выбранными днями и live-пересчитывает \(\chi^2\) и \(p\)-значение; шкала внизу сравнивает текущее \(\chi^2\) с критическим значением для выбранного уровня значимости. Здесь \(\chi^2 \sim \chi^2_6\); для \(p\)-значения используется приближение Уилсона–Хилферти к функции распределения \(\chi^2\) (нормальная аппроксимация), а не точная неполная гамма-функция.

Переместить 0 пациентов из в

\(\chi^2 = \) \(p\)-значение \(\approx\) Уровень значимости:

Квантили распределения хи-квадрат с 6 степенями свободы таковы: \(u_{0.95} \approx 12.6, u_{0.99} \approx 16.8\). Таким образом, на уровне значимости \(0.05\) мы гипотезу о равномерном поступлении пациентов отвергаем, а на уровне \(0.01\)- не отвергаем (но во втором случае вероятность ошибки второго рода, разумеется, существенно увеличивается, поэтому высокий уровень значимости не является целесообразным, если наблюдений не так много).

ProblemЗадача 8

Цифры \(0,1,2, \ldots , 9\) среди 800 первых десятичных знаков числа \(\pi\) появились 74, 92, 83, 79, 80, 73, 77, 75, 76, 91 раз соответственно. С помощью хи-квадрат критерия проверьте гипотезу о согласии этих данных с законом равномерного распределения на множестве \(\left\{ 0,1, \ldots , 9\right\}\) на уровне значимости а) \(5\%\), б) \(50\%\), в) \(80\%\).

ProblemЗадача 9

Профессиональный дантист научился выбивать зубы мудрости кулаком. Известно, что 52 зуба мудрости он выбил с первой попытки, 31 - со второй, 3 - с третьей, на выбивание оставшихся 5 зубов ему потребовалось 4 и более попыток. Проверить гипотезу о том, что дантист выбивает произвольный зуб мудрости с вероятностью \(\frac{2}{3}\), на уровне значимости \(0.1\).

2.1.2 Сложная гипотеза

Критерий хи-квадрат Пирсона можно применять и в случае сложных гипотез

\[ H_0: \overrightarrow {p} = \overrightarrow {p}^0(\overrightarrow {\theta }), \; \overrightarrow {\theta } \in \Theta \subset \mathbb {R}^{r}, \; r < m-1, \qquad H_1: \overrightarrow {p} \neq \overrightarrow {p}^0(\overrightarrow {\theta }) \]

При проверке таких гипотез используется также статистика \(\widehat{\chi^2} = \widehat{\chi^2}(\overrightarrow {\theta })\), при вычислении которой \(\overrightarrow {\theta }\) заменяется на оценку максимального правдоподобия

\[ \overrightarrow {\theta }^{*} = \operatorname *{arg\, max}_{\overrightarrow {\theta } \in \Theta } \prod _{j=1}^{m}\left(p_{j}^{0}(\overrightarrow {\theta })\right)^{\mu _{j}} . \]

Теорема 5 (Фишера) Пусть выполнены следующие условия:

1. гипотеза \(H_{0}\) верна;

2. для любого \(\overrightarrow {\theta } \in \Theta\) справедливо равенство \(\sum_{j=1}^{m} p_{j}(\overrightarrow {\theta })=1\);

3. существует такое положительное число c, что для всех \(j \in \{ 1, \ldots , m\}\) и \(\overrightarrow {\theta } \in \Theta\) выполнено \(p_{j}(\overrightarrow {\theta }) \geq c\);

4. для любых \(j \in \{ 1, \ldots , m\} , k, l \in\) \(\{ 1, \ldots , r\}\) существуют непрерывные производные \(\frac{\partial p_{j}^{0}(\overrightarrow {\theta })}{\partial \theta_{k}}, \frac{\partial^{2} p_{j}^{0}(\overrightarrow {\theta })}{\partial \theta_{k} \partial \theta_{l}}\);

5. матрица, составленная из частных производных \(\frac{\partial p_{j}^{0}(\overrightarrow {\theta })}{\partial \theta_{k}}(j \in \{ 1, \ldots , m\} , k \in\) \(\{ 1, \ldots , r\} )\), имеет ранг \(r\) для всех \(\theta \in \Theta\).

Тогдa

\[ \widehat{\chi ^2}\left(\overrightarrow {\theta }^{*}\right) \xrightarrow [n \to \infty ]{d} \chi _{m-1-r}^{2} \]

В случае сложных гипотез критерий хи-квадрат также применяется, если \(n \geq 50\) и \(\mu_{j} \geq 5\) для всех \(j \in \{ 1, \ldots , m\}\).

ExampleПример 6

Проверьте на уровне значимости \(\alpha\) гипотезу о том, что измеряемая величина \(X\) имеет биномиальное распределение с параметрами \((2, \theta )\), если при проведении \(n=128\) измерений она \(\mu_{1}=n / 4\) раз приняла значение \(0, \mu_{2}=n / 4\) раз значение 1 и \(\mu_{3}=n / 2\) раз - значение 2 .

SolutionРешение

В задаче речь идет о проверке гипотезы \[ H_{0}: p_{1}^{0}(\theta )=(1-\theta )^{2}, p_{2}^{0}(\theta )=2 \theta (1-\theta ), p_{3}^{0}=\theta ^{2}. \] Найдем оценку максимального правдоподобия: \[ \frac{\partial }{\partial \theta }\left(\ln \prod _{j=1}^{3}\left(p_{j}^{0}(\theta )\right)^{\mu _{j}}\right) = -\frac{2 \mu _{1}}{1-\theta }+\frac{\mu _{2}}{\theta }-\frac{\mu _{2}}{1-\theta }+\frac{2 \mu _{3}}{\theta }. \] Приведем к общему знаменателю \(\theta (1-\theta )\): числитель равен \(-2\mu_1\theta - \mu_2 \theta + \mu_2(1-\theta ) + 2\mu_3(1-\theta ) = \mu_2 + 2\mu_3 - 2\theta (\mu_1+\mu_2+\mu_3)\), а поскольку \(\mu_1+\mu_2+\mu_3=n\), это равно \(2\mu_3+\mu_2-2n\theta\). Итак \[ \frac{\partial }{\partial \theta }\left(\ln \prod _{j=1}^{3}\left(p_{j}^{0}(\theta )\right)^{\mu _{j}}\right) = \frac{2 \mu _{3}+\mu _{2}-2 n \theta }{\theta (1-\theta )}. \] Следовательно, \(\theta^{*}=\frac{2 \mu_{3}+\mu_{2}}{2 n}=\frac{2 \cdot \frac{n}{2}+\frac{n}{4}}{2 n} = \frac{5}{8}\). Тогда \[ p^0_1\left(\tfrac {5}{8}\right) = \frac{9}{64}, \quad p^0_2\left(\tfrac {5}{8}\right) = \frac{30}{64}, \quad p^0_3\left(\tfrac {5}{8}\right) = \frac{25}{64}, \qquad np^0_1 = 18, \quad np^0_2 = 60, \quad np^0_3 = 50, \] и окончательно получаем значение статистики \[ \widehat{\chi ^2}(\theta ^*) = \sum _{j=1}^{3} \frac{\left(\mu _{j}-n p_{j}^{0}(5/8)\right)^{2}}{n p_{j}^{0}(5/8)}=\frac{(32-18)^{2}}{18}+\frac{(32-60)^{2}}{60}+\frac{(64-50)^{2}}{50} \approx 10.89 + 13.07 + 3.92 = 27.88 \] Здесь \(m = 3\), \(r = 1\), т.е. при верной \(H_0\) статистика асимптотически распределена по \(\chi^2_{m-1-r} = \chi^2_1\). Так как 0.99-квантиль распределения \(\chi_{1}^{2}\) с точностью до четвертого знака после запятой равна \(6.6349 \ll 27.88\), то гипотезу следует отвергнуть даже на уровне значимости \(0.01\).

ProblemЗадача 10

Среди 5000 семей, имеющих трех детей, есть ровно 1010 семей с тремя мальчиками, 2200 семей с двумя мальчиками и одной девочкой, 950 семей с одним мальчиком и двумя девочками (во всех остальных семьях все дети - девочки). Можно ли с уровнем значимости \(\alpha =0.02\) считать, что количество мальчиков \(\xi\) в семье с тремя детьми имеет следующее распределение \[ \mathbb {P}\left(\xi = 0\right) = \theta , \quad \mathbb {P}\left(\xi = 1\right) = \theta , \quad \mathbb {P}\left(\xi = 2\right) = 2\theta , \quad \mathbb {P}\left(\xi = 3\right) = 1-4 \theta , \qquad \text{ где } \theta \in \left(0, \frac{1}{4}\right). \]

2.2 Общий случай

Критерий хи-квадрат, как и критерий согласия Колмогорова, применяется для проверки гипотезы о равенстве распределения, из которого берется наша выборка, какому-то определённому распределению \(\mathbb {P}_0\). В отличие от критерия Колмогорова, критерий хи-квадрат не требует больших вычислений, но является менее “точным”. Работать с критерием хи-квадрат в случае произвольного класса распределений можно следующим образом: область значений выборки разбивается на несколько интервалов, после чего вычисляется число членов выборки, попавших в каждый интервал. Полученные значения берутся в качестве \(\mu_{j}\). В качестве \(p_{j}^{0}\) берутся вероятности попадания случайной величины с распределением \(\mathbb {P}_0\) в \(j\)-ый интервал. В сущности сравниваются гистограмма выборки и теоретическая гистограмма распределения \(\mathbb {P}_0\).

По поводу кол-ва классов см. (Kallenberg и др. 1985 г.).

использованная литература

Kallenberg, W. C. M., J. Oosterhoff, и B. F. Schriever. 1985 г. «The Number of Classes in Chi-Squared Goodness-of-Fit Tests». Journal of the American Statistical Association 80 (392): 959–68. http://www.jstor.org/stable/2288561.