Проверка простой гипотезы вида \(\vect {\theta } = \vect {\theta }_0\)
Пусть имеется линейная гауссовская модель \(\vect {X} = \mathbf{z}\vect {\theta } + \vect {\varepsilon }, \; \vect {\theta } \in \mathbb {R}^{\tilde{k}}, \; \vect {\varepsilon } \sim \mathscr {N}\left(\overrightarrow {0}, \sigma^2 \mathbf{I}_n\right)\). Напомним, что если в модели нет свободного параметра, т.е.
\[
X_i = \theta _1 z_{i1} + \theta _2 z_{i2} + \ldots + \theta _k z_{ik} + \varepsilon _i,
\]
то \(\tilde{k} = k\). Если же в регрессии есть свободный параметр, т.е. имеем модель
\[
X_i = \theta _0 + \theta _1 z_{i1} + \theta _2 z_{i2} + \ldots + \theta _k z_{ik} + \varepsilon _i,
\]
то \(\tilde{k} = k + 1\).
Пусть даны следующая простая параметрическая базовая гипотеза против сложной параметрической альтернативы:
\[
H_0: \vect {\theta } = \vect {\theta }_0, \qquad H_1: \vect {\theta } \neq \vect {\theta }_0,
\]
где \(\vect {\theta }_0 \in \mathbb {R}^{\tilde{k}}\) – произвольный фиксированный вектор.
Например, \(\vect {\theta }_0 = \overrightarrow {0}\): в этом случае проверяется \(\vect {X} = \vect {\varepsilon }\) против \(\vect {X} = \mathbf{z}\vect {\theta } + \vect {\varepsilon }\), где \(\vect {\theta } \neq \overrightarrow {0}\). В сущности проверяется гипотеза о том, что данные регрессоры \(\mathbf{z}\) действительно влияют на значения зависимой переменной \(\vect {X}\). Базовая гипотеза в данном случае состоит в том, что \(\vect {X}\) – просто шум, не зависящий никак от регрессоров.
Как проверить \(H_0\) против \(H_1\)? Присмотримся к рис. @LinearRegrHypTest:GraphSimpelHyp: если базовая гипотеза верна, т.е. неизвестный истинный параметр \(\vect {\theta }\) равен \(\vect {\theta }_0\), то его оценка \(\widehat{\vect {\theta }}\) не должна сильно отличаться от \(\vect {\theta }_0\), поскольку \(\widehat{\vect {\theta }} \sim \mathscr {N}\left(\vect {\theta }_0, \sigma^2 \left(\mathbf{z}^T \mathbf{z}\right)^{-1}\right)\). Вектор \(\overrightarrow {FB} = \mathbf{z}\widehat{\vect {\theta }} - \mathbf{z}\vect {\theta }_0 = \widehat{\vect {X}} - \mathbb {E}\left[\widehat{\vect {X}}\right]\) должен не должен быть большим по сравнению с прочими векторами \(\overrightarrow {OA} = \vect {X}, \overrightarrow {OB} = \widehat{\vect {X}}, \overrightarrow {BA} = \vect {X} -\widehat{\vect {X}}\).
Удобно сравнивать \(\mathbf{z}\widehat{\vect {\theta }} - \mathbf{z}\vect {\theta }_0\) именно с последним вектором, с вектором \(\vect {X} -\widehat{\vect {X}} = \vect {X}_{L^\perp }\), поскольку в силу теор. @LinearRegr:CochranTheorem об ортогональном разложении гауссовского вектора эти векторы независимы. В силу той же теоремы, в предположении верной \(H_0\), имеем
\[
\begin{align} \frac{1}{\sigma ^2}\left|\overrightarrow {FB}\right|^2 & = \frac{1}{\sigma ^2}\left\| \mathbf{z}\widehat{\vect {\theta }} - \mathbf{z}\vect {\theta }_0\right\| ^2 = \frac{1}{\sigma ^2}\left\| \widehat{\vect {X}} - \mathbb {E}\left[\widehat{\vect {X}}\right]\right\| ^2 = \frac{1}{\sigma ^2}\left\| \vect {X}_L - \mathbb {E}\left[\vect {X}_L\right]\right\| ^2 \sim \chi ^2_{k} \\ \frac{1}{\sigma ^2}\left|\overrightarrow {BA}\right|^2 & = \frac{1}{\sigma ^2}\left\| \vect {X} -\widehat{\vect {X}}\right\| ^2 = \frac{1}{\sigma ^2} \operatorname {RSS} = \frac{1}{\sigma ^2}\left\| \vect {X}_{L^\perp }\right\| ^2 \sim \chi ^2_{n-\tilde{k}}, \quad \text{поскольку} \quad \mathbb {E}\left[\vect {X}_{L^\perp }\right] = \overrightarrow {0} \end{align}
\]
Определение 1 Пусть \(\xi_{1}, \xi_{2}\) – независимые случайные величины, распределенные по законам \(\chi_{n_{1}}^{2}, \chi_{n_{2}}^{2}\) соответственно. Тогда случайная величина \[
\frac{\xi _{1} / n_{1}}{\xi _{2} / n_{2}}
\] имеет распределение Фишера со степенями свободы \(n_{1}, n_{2}\) (обозначается \(\operatorname {F}_{n_1, n_2}\)).
Статистика
\[
F := \frac{\left|\overrightarrow {FB}\right|^2 / \tilde{k}}{\left|\overrightarrow {BA}\right|^2 /( n - \tilde{k})} = \frac{\left\| \mathbf{z}\widehat{\vect {\theta }} - \mathbf{z}\vect {\theta }_0\right\| ^2/\tilde{k}}{\left\| \vect {X} -\widehat{\vect {X}}\right\| ^2/( n - \tilde{k})} = \frac{\left(\widehat{\vect {\theta }} - \vect {\theta }_0\right)^T \mathbf{z}^T \mathbf{z}\left(\widehat{\vect {\theta }} - \vect {\theta }_0\right)/\tilde{k}}{\operatorname {RSS}/( n - \tilde{k})}
\]
называется \(F\)-статистикой. Согласно опр. Определение 1, она распределена по закону распределения Фишера с \(\tilde{k}, n - \tilde{k}\) степенями свободы: \(F \sim \operatorname {F}_{\tilde{k}, n - \tilde{k}}\).
Критерий УЗ \(\alpha\) проверки \(H_0\) против \(H_1\): если \(F\)-статистика слишком большая, больше квантиля уровня \(1-\alpha\) из распределения \(\operatorname {F}_{\tilde{k}, n - \tilde{k}}\), то \(H_0\) отвергаем. Т.е. \(S = \left\{ \vect {x} \in \mathbb {R}^{n}: F(x) > Q_{\operatorname {F}_{\tilde{k}, n - \tilde{k}}}(1 - \alpha )\right\}\).
Пусть в модели нет свободного параметра, пусть проверяется гипотеза \(\theta_1 = \ldots = \theta_k = 0\). Выразите \(F\)-статистику для такой гипотезы и коэфф. детерминации \(R^2\) модели друг через друга.
Общий случай: проверка сложной гипотезы вида \(\mathbf{w}^T\vect {\theta } = \vect {\tau }_0\)
В условиях предыдущего параграфа рассмотрим сложную параметрическую базовую гипотезу против сложной параметрической альтернативы:
\[
\label{LinearRegrHypTest:ComposHyp} H_0: \mathbf{w}^T \vect {\theta } = \vect {\tau }_0, \qquad H_1: \mathbf{w}^T \vect {\theta } \neq \vect {\tau }_0,
\]
где \(\mathbf{w} \in \mathbb {R}^{\tilde{k} \times m}\) – некоторая фиксированная матрица размерности \(\tilde{k} \times m, \; m \leq \tilde{k}\) полного ранга: \(\operatorname {rk}(\mathbf{w}) = m\). \(\vect {\tau }_0 \in \mathbb {R}^{m}\) – некоторый фиксированный вектор.
Выпущена новая партия монет. Перед их использованием было решено провести исследование с целью проверки того, что монеты одинаковы. На весах с ошибкой измерений, распределенной по закону \(\mathcal{N}\left(0, \sigma^{2}\right)\), были взвешены две монеты, причем первая была взвешена \(n_1\) раз, а вторая \(n_2\) раз. Все измерения были произведены независимо. Сформулируйте гипотезу о том, что массы монет одинаковы.
Пусть \(Y^{(1)}_{1}, \ldots , Y^{(1)}_{n_1}\) и \(Y^{(2)}_{1}, \ldots , Y^{(2)}_{n_2}\) – независимые выборки из распределений \(\mathcal{N}\left(a_{1}, \sigma^{2}\right)\) и \(\mathcal{N}\left(a_{2}, \sigma^{2}\right)\) соответственно. Рассматривается гипотеза \(H_{0}: a_{1}=a_{2}\).
Рассмотрим линейную модель \(\vect {X}= \mathbf{z} \vect {\theta } + \vect {\varepsilon }\), где
\[
\vect {X} = \begin{pmatrix} Y^{(1)}_{1} \\ Y^{(1)}_{2} \\ \vdots \\ Y^{(1)}_{n_1} \\ Y^{(2)}_{1} \\ \vdots \\ Y^{(2)}_{n_2} \end{pmatrix}, \qquad \mathbf{z} = \begin{pmatrix} 1 & 0 \\ 1 & 0 \\ \vdots & \vdots \\ 1 & 0 \\ 0 & 1 \\ \vdots & \vdots \\ 0 & 1 \end{pmatrix}, \qquad \vect {\theta } = \begin{pmatrix} a_1 \\ a_2 \end{pmatrix}, \quad \vect {\varepsilon } := \vect {X} - \mathbf{z} \vect {\theta }
\] В данном случае \(n = n_1 + n_2, \; \tilde{k} = k = 2\).
Предположение гипотезы \(H_0\) можно сформулировать в виде
\[
H_0: \; \mathbf{w}^T\vect {\theta } = 0, \quad \text{ где } \quad \mathbf{w}^T = (1, -1)
\] В данном случае \(m = 1\).
Стоит оговориться, что гипотеза \(H_0\) из @LinearRegrHypTest:ComposHyp будет сложной только если в матрице \(\mathbf{w}^T\) строк меньше, чем столбцов, т.е. \(\tilde{k} < m\). Заметим, что простая гипотеза \(\vect {\theta } = \vect {\theta }_0\) из предыдущего параграфа – частный случай @LinearRegrHypTest:ComposHyp: нужно просто взять \(\mathbf{w} = \mathbf{I}_{\tilde{k}}, \; \vect {\tau }_0 = \vect {\theta }_0\).
Как проверить \(H_0\) против \(H_1\)? Присмотримся к рис. @LinearRegrHypTest:GraphCompositeHyp. Заметим, что условие \(\mathbf{w}^T \vect {\theta } = \overrightarrow {0}\) на вектор \(\mathbf{z}\vect {\theta } \in \mathbb {R}^{n}\) задает некоторое линейное подподпространство \(L_1\) в подпространстве \(L = \left\{ \mathbf{z}\vect {\theta }: \; \vect {\theta } \in \mathbb {R}^{\tilde{k}}\right\} \subset \mathbb {R}^{n}\). Поскольку ранг матрицы \(\mathbf{w}^T\) равен \(m\), т.е. количеству ее строк, то условие \(\mathbf{w}^T \vect {\theta } = \overrightarrow {0}\) задает \(m\) линейных ограничений на \(\tilde{k}\)-мерный вектор \(\vect {\theta }\). Следовательно, \(\dim (L_1) = \dim (L) - m = \tilde{k}-m\). Обозначим \(L_2\) ортогональное дополнение к \(L_1\) в подпространстве \(L\). Имеем \(\dim (L_2) = \tilde{k}\).
Условие \(\mathbf{w}^T \vect {\theta } = \vect {\tau }_0\) на вектор \(\mathbf{z}\vect {\theta } \in \mathbb {R}^{n}\) задает, очевидно, некоторое аффинное подпространство \(\mathcal{L}_1\) с линейной частью \(L_1\). Пусть \(\vect {l}_2 := L_2 \cap \mathcal{L}_1\). Заметим, что \(\mathcal{L}_1 = L_1 + \vect {l}_2\).
Обозначим \(\widehat{\vect {\tau }} := \mathbf{w}^T \widehat{\vect {\theta }}\). Заметим, что \(\mathbb {E}\left[\widehat{\vect {\tau }}\right] = \mathbf{w}^T \mathbb {E}\left[\widehat{\vect {\theta }}\right] = \mathbf{w}^T \vect {\theta }, \; \forall \vect {\theta } \in \mathbb {R}^{\tilde{k}}\), т.е. \(\widehat{\vect {\tau }}\) – несмещенная оценка \(\mathbf{w}^T \vect {\theta }\). Поскольку \(\widehat{\vect {\tau }}\) является функцией от полной, достаточной статистики, \(\widehat{\vect {\tau }}\) – оптимальная оценка \(\mathbf{w}^T \vect {\theta }\).
Обозначим \(\widehat{\mathcal{L}}_1 := \left\{ \mathbf{z}\vect {\theta }: \; \mathbf{w}^T\vect {\theta } = \widehat{\vect {\tau }}\right\}\) оценку аффинного подпространства \(\mathcal{L}_1\). Заметим, что \(\widehat{\mathcal{L}}_1 = L_1 + \vect {X}_{L_2}\). Обозначим
\[
\vect {X}_{\mathcal{L}_1} = \argmin _{\vect {x} \in \mathcal{L}_1}\left\| \vect {X} - \vect {x}\right\|
\]
Заметим, что \(\vect {X}_{\mathcal{L}_1} = \vect {X}_{L_1} + \vect {l}_2\)
Если \(H_0\) верна, то оценка \(\widehat{\vect {\tau }}\) должна быть близка к \(\vect {\tau }_0\), \(\widehat{\mathcal{L}}_1\) должно быть близко к \(\mathcal{L}_1\). Расстояние \(\rho (\widehat{\mathcal{L}}_1, \mathcal{L}_1) = \left|\overrightarrow {FB}\right| = \left\| \vect {X}_L - \vect {X}_{\mathcal{L}_1}\right\|\), как и в предыдущем параграфе, удобно сравнивать с \(\left|\overrightarrow {BA}\right| = \left\| \vect {X} - \vect {X_L}\right\| = \sqrt{\operatorname {RSS}}\), поскольку по теор. об ортогональном разложении гауссовского вектора векторы
\[
\overrightarrow {FB} = \vect {X}_L - \vect {X}_{\mathcal{L}_1} = \vect {X}_{L_2} - \vect {l}_2 \qquad \text{и}\qquad \overrightarrow {BA} = \vect {X} - \vect {X_L}
\]
независимы.
Как находить \(\left|\overrightarrow {BA}\right|^2 = \left\| \vect {X} - \vect {X_L}\right\|^2 = \operatorname {RSS}\) и как распределено \(\operatorname {RSS}\) мы с вами уже знаем: \(\operatorname {RSS} = \left\| \vect {X} - \mathbf{z}\widehat{\vect {\theta }}\right\|^2\), \(\frac{1}{\sigma^2}\operatorname {RSS} \sim \chi^2_{n-\tilde{k}}\). Выразим \(\left|\overrightarrow {FB}\right|^2\) через \(\vect {X}, \mathbf{z}, \mathbf{w}\) и найдем распределение \(\left|\overrightarrow {FB}\right|^2\).
Имеем
\[
\left|\overrightarrow {FB}\right|^2 = \left\| \vect {X}_{L} - \vect {X}_{\mathcal{L}_1}\right\| ^2 = \left(\widehat{\vect {\tau }} - \vect {\tau }_0\right)^T \left(\mathbf{w}^T\left(\mathbf{z}^T\mathbf{z}\right)^{-1}\mathbf{w}\right)^{-1}\left(\widehat{\vect {\tau }} - \vect {\tau }_0\right) = \left(\widehat{\vect {\tau }} - \vect {\tau }_0\right)^T \mathbf{b}^{-1}\left(\widehat{\vect {\tau }} - \vect {\tau }_0\right),
\]
где \(\mathbf{b} := \mathbf{w}^T\left(\mathbf{z}^T\mathbf{z}\right)^{-1}\mathbf{w}\). Кроме того, в предположении верной гипотезы \(H_0: \; \mathbf{w}^T\vect {\theta } = \vect {\tau }_0\) выполнено \(\frac{1}{\sigma^2}\left|\overrightarrow {FB}\right|^2 \sim \chi^2_m\).
Докажите теорему.
1. Случай ортонормальных столбцов в \(\mathbf{z}\) и в \(\mathbf{w}\). Рассмотрим сначала случай, когда в матрице \(\mathbf{z} \in \mathbb {R}^{n \times \tilde{k}}\) и в матрице \(\mathbf{w} \in \mathbb {R}^{\tilde{k} \times m}\) столбцы образуют ортонормальные системы в \(\mathbb {R}^{n}\) и \(\mathbb {R}^{\tilde{k}}\) соотв. Такие матрицы называют полуортогональными. В нашем случае имеем \(\mathbf{z}^T\mathbf{z} = \mathbf{I}_{\tilde{k}}, \; \mathbf{w}^T\mathbf{w} = \mathbf{I}_m\). Напоминаем, что \(n \geq \tilde{k} \geq m\).
Заметим, что в этом случае \(L_2 = \left\{ \mathbf{z}\mathbf{w}\vect {\tau }: \; \vect {\tau } \in \mathbb {R}^{m}\right\}\), \(\vect {l}_2 = \mathbf{z}\mathbf{w}\vect {\tau }_0\), \(\vect {X}_{L_2} = \mathbf{z}\mathbf{w}\widehat{\vect {\tau }}\). Следовательно, \(\mathbb {E}\left[\vect {X}_{L_2}\right] = \mathbf{z}\mathbf{w}\mathbb {E}\left[\widehat{\vect {\tau }}\right] = \mathbf{z}\mathbf{w} \vect {\tau }_0 = \vect {l}_2\) и по теореме об ортогональном разложении гауссовского вектора
\[
\frac{1}{\sigma ^2}\left|\overrightarrow {FB}\right|^2 = \frac{1}{\sigma ^2}\left\| \vect {X}_{L_2} - \vect {l}_2\right\| ^2 = \frac{1}{\sigma ^2}\left\| \vect {X}_{L_2} - \mathbb {E}\left[\vect {X}_{L_2}\right]\right\| ^2 \sim \chi ^2_{\dim (L_2)} = \chi ^2_{m}
\] При этом
\[
\begin{align} \left|\overrightarrow {FB}\right|^2 & = \left\| \vect {X}_{L_2} - \vect {l}_2\right\| ^2 = \left\| \mathbf{z}\mathbf{w}\widehat{\vect {\tau }} - \mathbf{z}\mathbf{w}\vect {\tau }_0\right\| ^2 = \left\| \mathbf{z}\mathbf{w} \left(\widehat{\vect {\tau }} -\vect {\tau }_0\right)\right\| ^2 = \left(\widehat{\vect {\tau }} -\vect {\tau }_0\right)^T \mathbf{w}^T \mathbf{z}^T \mathbf{z} \mathbf{w} \left(\widehat{\vect {\tau }} -\vect {\tau }_0\right) = \left(\widehat{\vect {\tau }} -\vect {\tau }_0\right)^T \left(\widehat{\vect {\tau }} -\vect {\tau }_0\right) = \\ & = \left\| \widehat{\vect {\tau }} -\vect {\tau }_0\right\| ^2 \end{align}
\] 2. Случай произвольных матриц \(\mathbf{z}\) и \(\mathbf{w}\). Пусть \(\mathbf{z} = \mathbf{u}_\mathbf {z} \Lambda_\mathbf {z} \mathbf{v}_\mathbf {z}^T\) – произвольное сингулярное разложение \(\mathbf{z}\): \(\tilde{\mathbf{z}} := \mathbf{u}_\mathbf {z} \in \mathbb {R}^{n \times \tilde{k}}\) – полуортогональная матрица, \(\Lambda_\mathbf {z} \in \mathbb {R}^{\tilde{k} \times \tilde{k}}\) – диагональная матрица с положительными числами на диагонали, \(\mathbf{v}_\mathbf {z} \in \mathbb {R}^{\tilde{k} \times \tilde{k}}\) – ортогональная матрица. Заметим, что столбцы \(\mathbf{z}\) и \(\tilde{\mathbf{z}}\) образуют одно и то же подпространство \(L\), причем \(\tilde{\mathbf{z}}\) полуортогональна. Заметим, что \(\tilde{\mathbf{z}} = \mathbf{z}\mathbf{v}_{\mathbf{z}}\Lambda^{-1}_{\mathbf{z}}\).
Если \(\vect {\theta }\) – координаты произвольного вектора из \(L\) в базисе из столбцов \(\mathbf{z}\), то пусть \(\tilde{\vect {\theta }}\) – координаты того же вектора в базисе из столбцов \(\tilde{\mathbf{z}}\). Имеем
\[
\tilde{\mathbf{z}} \Lambda _\mathbf {z} \mathbf{v}_\mathbf {z}^T \cdot \vect {\theta } = \mathbf{z} \cdot \vect {\theta } = \tilde{\mathbf{z}}\cdot \tilde{\vect {\theta }} = \mathbf{z}\mathbf{v}_{\mathbf{z}}\Lambda ^{-1}_{\mathbf{z}} \cdot \tilde{\vect {\theta }} \qquad \; \Rightarrow \; \qquad \tilde{\vect {\theta }} = \Lambda _\mathbf {z} \mathbf{v}_\mathbf {z}^T \cdot \vect {\theta }, \quad \vect {\theta } = \mathbf{v}_{\mathbf{z}}\Lambda ^{-1}_{\mathbf{z}} \cdot \tilde{\vect {\theta }}
\] Перепишем условие \(\mathbf{w}^T \vect {\theta } = \vect {\tau }_0\) для вектора \(\vect {\theta }\) на условие для вектора \(\tilde{\vect {\theta }}\):
\[
\vect {\tau }_0 = \mathbf{w}^T \vect {\theta } = \mathbf{w}^T \mathbf{v}_{\mathbf{z}}\Lambda ^{-1}_{\mathbf{z}} \cdot \tilde{\vect {\theta }} = \left(\Lambda ^{-1}_{\mathbf{z}} \mathbf{v}_{\mathbf{z}}^T \mathbf{w}\right)^T \cdot \tilde{\vect {\theta }} = \left(\mathbf{w}'\right)^T \tilde{\vect {\theta }}
\] Несложно показать, что матрица \(\mathbf{w}' := \Lambda^{-1}_{\mathbf{z}} \mathbf{v}_{\mathbf{z}}^T \mathbf{w} \in \mathbb {R}^{\tilde{k} \times m}\) имеет тот же ранг, что и \(\mathbf{w}\), т.е. \(m\). Пусть \(\mathbf{w}' = \mathbf{u}_{\mathbf{w}'} \Lambda_{\mathbf{w}'} \mathbf{v}^T_{\mathbf{w}'}\) – сингулярное разложение \(\mathbf{w}'\): \(\tilde{\mathbf{w}} := \mathbf{u}_{\mathbf{w}'} \in \mathbb {R}^{\tilde{k} \times m}\) – полуортогональная матрица, \(\Lambda_{\mathbf{w}'} \in \mathbb {R}^{m \times m}\) – диагональная матрица с положительными числами на диагонали, \(\mathbf{v}_{\mathbf{w}'} \in \mathbb {R}^{m \times m}\) – ортогональная матрица.
Имеем
\[
\vect {\tau }_0 = \left(\mathbf{w}'\right)^T \tilde{\vect {\theta }} = \mathbf{v}_{\mathbf{w}'} \Lambda _{\mathbf{w}'}\tilde{\mathbf{w}}^T \cdot \tilde{\vect {\theta }} \quad \iff \quad \Lambda _{\mathbf{w}'}^{-1}\mathbf{v}^T_{\mathbf{w}'} \cdot \vect {\tau }_0 = \tilde{\mathbf{w}}^T \cdot \tilde{\vect {\theta }}
\] Обозначим \(\tilde{\vect {\tau }}_0 := \Lambda_{\mathbf{w}'}^{-1}\mathbf{v}^T_{\mathbf{w}'} \cdot \vect {\tau }_0\). Гипотеза \(H_0: \mathbf{w}^T \vect {\theta } = \vect {\tau }_0\) эквивалентна условию \(\tilde{\vect {\tau }}_0 = \tilde{\mathbf{w}}^T \cdot \tilde{\vect {\theta }}\), причем теперь \(\tilde{\mathbf{w}}\) и \(\tilde{\mathbf{z}}\) – полуортогональные матрицы.
Аналогично первому случаю, имеем \(L_2 = \left\{ \tilde{\mathbf{z}}\tilde{\mathbf{w}}\tilde{\vect {\tau }}: \; \tilde{\vect {\tau }} \in \mathbb {R}^{m}\right\}\), \(\vect {l}_2 = \tilde{\mathbf{z}}\tilde{\mathbf{w}}\tilde{\vect {\tau }}_0\), \(\vect {X}_{L_2} = \tilde{\mathbf{z}}\tilde{\mathbf{w}}\widehat{\tilde{\vect {\tau }}}\), \(\mathbb {E}\left[\vect {X}_{L_2}\right] = \tilde{\mathbf{z}}\tilde{\mathbf{w}} \mathbb {E}\left[\widehat{\tilde{\vect {\tau }}}\right] = \tilde{\mathbf{z}}\tilde{\mathbf{w}} \tilde{\vect {\tau }}_0 = \vect {l}_2\) и
\[
\frac{1}{\sigma ^2}\left|\overrightarrow {FB}\right|^2 = \frac{1}{\sigma ^2}\left\| \vect {X}_{L_2} - \vect {l}_2\right\| ^2 = \frac{1}{\sigma ^2}\left\| \vect {X}_{L_2} - \mathbb {E}\left[\vect {X}_{L_2}\right]\right\| ^2 \sim \chi ^2_{\dim (L_2)} = \chi ^2_{m}
\] При этом
\[
\begin{align} \left|\overrightarrow {FB}\right|^2 & = \left\| \vect {X}_{L_2} - \vect {l}_2\right\| ^2 = \left\| \tilde{\mathbf{z}}\tilde{\mathbf{w}}\widehat{\tilde{\vect {\tau }}} - \tilde{\mathbf{z}}\tilde{\mathbf{w}}\tilde{\vect {\tau }}_0\right\| ^2 = \left\| \tilde{\mathbf{z}}\tilde{\mathbf{w}} \left(\widehat{\tilde{\vect {\tau }}} -\tilde{\vect {\tau }}_0\right)\right\| ^2 = \left\| \widehat{\tilde{\vect {\tau }}} -\tilde{\vect {\tau }}_0\right\| ^2 = \left\| \Lambda _{\mathbf{w}'}^{-1}\mathbf{v}^T_{\mathbf{w}'}\left(\widehat{\vect {\tau }} -\vect {\tau }_0\right)\right\| ^2 = \\ & = \left(\widehat{\vect {\tau }} -\vect {\tau }_0\right)^T \mathbf{v}_{\mathbf{w}'}\Lambda _{\mathbf{w}'}^{-1}\Lambda _{\mathbf{w}'}^{-1}\mathbf{v}^T_{\mathbf{w}'}\left(\widehat{\vect {\tau }} -\vect {\tau }_0\right) = \left(\widehat{\vect {\tau }} -\vect {\tau }_0\right)^T \mathbf{v}_{\mathbf{w}'}\Lambda _{\mathbf{w}'}^{-2}\mathbf{v}^T_{\mathbf{w}'}\left(\widehat{\vect {\tau }} -\vect {\tau }_0\right) \\ \left(\mathbf{z}^T\mathbf{z}\right)^{-1} & = \left(\mathbf{v}_{\mathbf{z}}\Lambda ^2_{\mathbf{z}} \mathbf{v}^T_{\mathbf{z}}\right)^{-1} = \mathbf{v}_{\mathbf{z}}\Lambda ^{-2}_{\mathbf{z}} \mathbf{v}^T_{\mathbf{z}} \\ \mathbf{w}^T\left(\mathbf{z}^T\mathbf{z}\right)^{-1}\mathbf{w} & = \mathbf{w}^T\mathbf{v}_{\mathbf{z}}\Lambda ^{-2}_{\mathbf{z}} \mathbf{v}^T_{\mathbf{z}}\mathbf{w} = \left(\mathbf{w}'\right)^T\mathbf{w}' = \mathbf{v}_{\mathbf{w}'}\Lambda _{\mathbf{w}'}^2 \mathbf{v}_{\mathbf{w}'}^T \\ \left(\mathbf{w}^T\left(\mathbf{z}^T\mathbf{z}\right)^{-1}\mathbf{w}\right)^{-1} & = \mathbf{v}_{\mathbf{w}'}\Lambda _{\mathbf{w}'}^{-2} \mathbf{v}_{\mathbf{w}'}^T \end{align}
\]
Статистика
\[
F = F(\vect {X}) := \frac{\left|\overrightarrow {FB}\right|^2 / m}{\left|\overrightarrow {BA}\right|^2 /( n - \tilde{k})} = \frac{\left\| \vect {X}_{L} - \vect {X}_{\mathcal{L}_1}\right\| ^2/m}{\left\| \vect {X} -\widehat{\vect {X}}\right\| ^2/( n - \tilde{k})} = \frac{\left(\widehat{\vect {\tau }} - \vect {\tau }_0\right)^T \mathbf{b}^{-1}\left(\widehat{\vect {\tau }} - \vect {\tau }_0\right)/m}{\operatorname {RSS}/( n - \tilde{k})}
\]
называется \(F\)-статистикой. Если \(H_0\) верна, то согласно доказанному выше и опр. Определение 1, эта статистика распределена по закону распределения Фишера с \(m, n - \tilde{k}\) степенями свободы: \(F \sim \operatorname {F}_{m, n - \tilde{k}}\).
Критерий УЗ \(\alpha\) проверки \(H_0\) против \(H_1\): если \(F\)-статистика слишком большая, больше квантиля уровня \(1-\alpha\) из распределения \(\operatorname {F}_{m, n - \tilde{k}}\), то \(H_0\) отвергаем. Т.е. \(S = \left\{ \vect {x} \in \mathbb {R}^{n}: F(\vect {x}) > Q_{\operatorname {F}_{m, n - \tilde{k}}}(1 - \alpha )\right\}\).
Пусть в модели есть свободный параметр \(\theta_0\), пусть снова проверяется гипотеза \(\theta_1 = \ldots = \theta_k = 0\). Выразите \(F\)-статистику для такой гипотезы и коэфф. детерминации \(R^2\) данной модели друг через друга.
В условиях примера @LinearRegrHypTest:CompositeExampleWithCoins постройте \(F\)-критерий УЗ \(\alpha\) для проверки гипотезы о том, что массы монет одинаковы.
Найдем \(\left|\overrightarrow {BA}\right|^2 = \operatorname {RSS}\). Имеем
\[
\begin{align} \widehat{\vect {\theta }} & = \left(\mathbf{z}^T \mathbf{z}\right)^{-1}\mathbf{z}^T \vect {X} = \begin{pmatrix} n_1 & 0 \\ 0 & n_2 \end{pmatrix}^{-1} \begin{pmatrix} \sum _{i=1}^{n_1} Y_{i}^{(1)} \\ \sum _{i=1}^{n_2} Y_{i}^{(2)} \end{pmatrix} = \begin{pmatrix} \overline{Y^{(1)}} \\ \overline{Y^{(2)}} \end{pmatrix} \\ \operatorname {RSS} & = \left\| \vect {X} - \widehat{\vect {X}}\right\| ^2 = \left\| \vect {X} - \mathbf{z}\widehat{\vect {\theta }} \right\| ^2 = \sum _{i=1}^{n_1}\left(Y_i^{(1)} - \overline{Y^{(1)}}\right)^2 + \sum _{i=1}^{n_2}\left(Y_i^{(2)} - \overline{Y^{(2)}}\right)^2 = n_1s_{Y^{(1)}}^2 + n_2s_{Y^{(2)}}^2 \end{align}
\]
Найдем \(\left|\overrightarrow {FB}\right|^2 = \left(\widehat{\vect {\tau }} - \vect {\tau }_0\right)^T \mathbf{b}^{-1}\left(\widehat{\vect {\tau }} - \vect {\tau }_0\right)\). Имеем
\[
\begin{align} \mathbf{b} & = \mathbf{w}^T \left(\mathbf{z}^T\mathbf{z}\right)^{-1} \mathbf{w} = \begin{pmatrix} 1 & -1 \end{pmatrix}\begin{pmatrix} 1/n_1 & 0 \\ 0 & 1/n_2 \end{pmatrix}\begin{pmatrix} 1 \\ -1 \end{pmatrix} = \frac{1}{n_1} + \frac{1}{n_2}, \qquad \mathbf{b}^{-1} = \frac{n_1n_2}{n_1 + n_2}\\ \widehat{\vect {\tau }} & = \mathbf{w}^T\widehat{\vect {\theta }} = \overline{Y^{(1)}} - \overline{Y^{(2)}} \\ \left|\overrightarrow {FB}\right|^2 & = \frac{n_1n_2}{n_1 + n_2} \left(\overline{Y^{(1)}} - \overline{Y^{(2)}}\right)^2 \end{align}
\] Получаем \(F\)-статистику:
\[
F = \frac{\left|\overrightarrow {FB}\right|^2 / m}{\operatorname {RSS}/( n - \tilde{k})} = \frac{\left(\overline{Y^{(1)}} - \overline{Y^{(2)}}\right)^2\frac{n_1n_2}{n_1 + n_2}}{n_1s_{Y^{(1)}}^2 + n_2s_{Y^{(2)}}^2} \cdot \frac{n_1 + n_2 - 2}{1}
\]
Критерий \(\left\{ F > Q_{\operatorname {F}_{1, n_1 + n_2 - 2}}(1 - \alpha )\right\}\), где \(Q_{\operatorname {F}_{1, n_1 + n_2 - 2}}(\cdot )\) – квантильная функция распределения \(\operatorname {F}_{1, n_1 + n_2 - 2}\).
Пусть \[
X_{i}=\theta _0+i \theta _1+\varepsilon _{0}+\ldots +\varepsilon _{i},
\] \(i=0,1, \ldots , n\), где \(\theta_0, \theta_1\) – неизвестные параметры, a случайные величины \(\varepsilon_{0}, \ldots , \varepsilon_{n}\) распределены независимо по закону \(\mathscr {N}\left(0, \sigma^2\right)\). Сведите задачу к линейной гауссовской модели и постройте \(F\)-критерий уровня значимости \(\alpha\) для проверки гипотезы \(H_{0}: \theta_0=\theta_1\).
В некоторых задачах подсчет статистики \(F\) затруднителен из-за того, что приходится вычислять обратную матрицу \(\mathbf{b}^{-1}\). В этих случаях удобно воспользоваться теоремой Пифагора в треугольнике \(AFB\) (см. рис. @LinearRegrHypTest:GraphCompositeHyp). Имеем
\[
\min _{\vect {\theta }: \mathbf{w}^T\vect {\theta } = \vect {\tau }_0}\left\| \vect {X} - \mathbf{z}\vect {\theta }\right\| ^2 = \left\| \vect {X} - \vect {X}_{\mathcal{L}_1}\right\| ^2 = \left|\overrightarrow {FA}\right|^2 = \left|\overrightarrow {FB}\right|^2 + \left|\overrightarrow {BA}\right|^2 = \left|\overrightarrow {FB}\right|^2 + \operatorname {RSS}
\]
Если \(\operatorname {RSS} = \min_{\vect {\theta } \in \mathbb {R}^{\tilde{k}}}\left\| \vect {X} - \mathbf{z}\vect {\theta }\right\|^2\) называют оценкой суммы наименьших квадратов, то \(\min_{\vect {\theta }: \mathbf{w}^T\vect {\theta } = \vect {\tau }_0}\left\| \vect {X} - \mathbf{z}\vect {\theta }\right\|^2\) называют условной оценкой наименьших квадратов. Зачастую удобнее оказывается вычислить условную оценку наименьших квадратов, а затем выразить \(\left|\overrightarrow {FB}\right|^2\) как
\[
\left|\overrightarrow {FB}\right|^2 = \min _{\vect {\theta }: \mathbf{w}^T\vect {\theta } = \vect {\tau }_0}\left\| \vect {X} - \mathbf{z}\vect {\theta }\right\| ^2 - \operatorname {RSS}
\]
Про измеряемую величину \(x\) известна зависимость от температуры \(t\): \[
x(t)=\beta _{1}+\beta _{2} t+\beta _{3} t^{2}.
\] Произведена серия независимых экспериментов \(\omega_0\) при значениях температуры, равных \[
t_{1}=-1, \quad t_{2}=0, \quad t_{3}=1, \quad t_{4}=2, \quad t_{5}=3
\] Получены соответствующие результаты: \[
X_{1}(\omega _0)=1, \quad X_{2}(\omega _0)=6, \quad X_{3}(\omega _0)=10, \quad X_{4}(\omega _0)=14, \quad X_{5}(\omega _0)=19
\] Предполагается, что ошибки измерений независимы и распределены по закону \(\mathscr {N}\left(0, 1\right)\). Кроме того, найдена оптимальная оценка \(\widehat{\sigma^{2}}=0.4\) дисперсии ошибки \(\sigma^{2}\). С помощью \(F\)-критерия проверьте гипотезу \(H_{0}\) о том, что \(\beta_{1}=\beta_{2}\) и \(\beta_{3}=0\), на уровне значимости \(\alpha =0.1\).
Пусть \(\vect {X}=\left(X_{1}, \ldots , X_{5}\right)^{T}\). Рассмотрим линейную модель
\[
\vect {X} = \mathbf{z} \vect {\theta } + \vect {\varepsilon }, \qquad \text{где} \qquad \vect {\theta } = \begin{pmatrix} \beta _{1} \\ \beta _{2} \\ \beta _{3} \end{pmatrix}, \quad \mathbf{z} = \begin{pmatrix} 1 & -1 & 1 \\ 1 & 0 & 0 \\ 1 & 1 & 1\\ 1 & 2 & 4 \\ 1 & 3 & 9 \end{pmatrix},
\] \(\vect {\varepsilon }\) – вектор ошибок. \(n = 5, \; k = 3\).
Предположение гипотезы можно представить в виде \(\mathbf{w}^T\vect {\theta } = \vect {\tau }_0\), где
\[
\vect {\tau }_0 = \begin{pmatrix} 0 \\ 0 \end{pmatrix}, \qquad \mathbf{w} = \begin{pmatrix} 1 & 0 \\ -1 & 0 \\ 0 & 1 \end{pmatrix}
\] Имеем \(m = 2\).
Найдем \(F\)-статистику в данном эксперименте \(\omega_0\). Имеем
\[
\begin{align} \left|\overrightarrow {FA}(\omega _0)\right|^2 & = \min _{\vect {\theta }: \beta _{1}=\beta _{2}, \beta _{3}=0} \left\| \vect {X} - \mathbf{z}\vect {\theta }\right\| = \min _{\beta } \sum _{i=1}^{5} \left(X_{i}-\beta \left(1 + t_i\right)\right)^2 = \\ & =\min _{\beta }\left(30 \beta ^{2}-2 \beta \left(X_{2}+2 X_{3}+3 X_{4}+4 X_{5}\right)+\sum _{i=1}^{5} X_{i}^{2}\right) = \\ & = \min _{\beta }\left(30 \beta ^{2}-288 \beta +694\right) = 694-691.2 = 2.8. \\ \operatorname {RSS}(\omega _0) & = (n-\tilde{k})\widehat{\sigma ^2} = 2 \cdot 0.4 = 0.8 \\ \left|\overrightarrow {FB}\right|^2 & = \left|\overrightarrow {FA}\right|^2 - \operatorname {RSS} = 2. \\ F(\omega _0) & = \frac{\left|\overrightarrow {FB}\right|^2/m}{\operatorname {RSS}/( n - \tilde{k})} = \frac{2 / 2}{0.8 / 2} = 2.5 \end{align}
\] l0.5
[width=0.510_img/F-p-val.png Красная область под графиком – это p-значение. Источник.
Если \(H_0\) верна, то \(F \sim \operatorname {F}_{2,2}\). Проверить \(H_0\) против \(H_1\) можно 2-мя эквивалентными способами.
Вычислить \(p\)-значение, т.е. посчитать вероятность получения в независимой копии проводимого эксперимента такое же значение статистики, т.е. \(2.5\), или более критическое, т.е. большее \(2.5\), при условии верности гипотезы \(H_0\), т.е. при условии того, что \(F \sim \operatorname {F}_{2,2}\). \(p\)-значение равно примерно \(28.6\%\), оно больше уровня значимости, следовательно данные недостаточно критичны, незначимы. \(H_0\) отвергать не следует.
Вычислить критическую область для данного УЗ и посмотреть, попадает ли туда выборка (статистика). Сделать это можно при помощи квантильных таблиц. Например, для распределения \(\operatorname {F}_{2,2}\) квантиль уровня \(1 - \alpha = 0.9\) равна \(9\). Т.е. критическая облать такая: \(\left\{ F > 9\right\}\). В нашем эксперименте \(F(\omega_0) = 2.5 < 9\), следовательно отвергать \(H_0\) не следует.
Отвергать \(H_0\) не следует.
\(Y^{(1)}_{1}, \ldots , Y^{(1)}_{n_1}\)- выборка из распределения \(\mathscr {N}\left(a_{1}, \sigma^{2}\right)\), \(Y^{(2)}_{1}, \ldots , Y^{(2)}_{n_2}\)- выборка из распределения \(\mathscr {N}\left(a_{2}, \sigma^{2}\right)\), \(Y^{(3)}_1, \ldots , Y^{(3)}_{n_3}\)- выборка из распределения \(\mathscr {N}\left(a_{3}, \sigma^{2}\right)\). Постройте \(F\)-критерий размера \(\alpha\) для проверки гипотезы а) \(H_{0}: a_{1}=a_{2}\) и \(a_{1}+a_{2}=a_{3}\), б) \(H_{0}: a_{1}=2 a_{2}\) и \(a_{1}+3 a_{2}=a_{3}\).
Примечание. Каждый пункт оценивается в 1 балл.
Решите пример @LinearRegrHypTest:CompositeExampleWithCoinsSol с помощью подсчета условной оценки наименьших квадратов.
Пусть \(Y^{(1)}_{i} \sim \mathscr {N}\left(a, i\sigma^2\right) , \; i= 1, \ldots , n\), \(Y^{(2)}_{i} \sim \mathscr {N}\left(jb, \sigma^{2}\right), j=1, \ldots , m\) – независимые случайные величины, где \(a\), \(b\), \(\sigma^{2}\) – неизвестные одномерные параметры. Сведите задачу к линейной модели и постройте \(F\)-критерий размера \(\alpha\) для проверки гипотезы \(H_{0}: a+b=1\).
Используя метод линейной регрессии, постройте приближение функции
\(f(t)\) многочленом третьей степени
\(a_0 + a_1t + a_2t^2 + a_3t^3\) по следующим данным:
Проверьте гипотезу \(H_0: a_1 = a_2 = a_3 = 0\) на уровне значимости
\(10\%\);
\(5\%\);
\(1\%\);
Пусть \(X_{i j} \sim \mathscr {N}\left(\mu_{j}, \sigma^{2}\right), i=1, \ldots , n_{j}, j=1, \ldots , k,-\) независимые случайные величины, а \(\left\{ \mu_{j}\right\}_{j=1}^{k}, \sigma^{2}\) – неизвестные параметры. Обозначим \(N=\sum_{j=1}^{k} n_{j}\). Для проверки гипотезы однородности \(H_{0}: \mu_{1}=\ldots =\mu_{k}\) используется \(F\)-критерий однофакторного дисперсионного анализа со следующей статистикой \[
F =\frac{\frac{1}{k-1} \sum _{j=1}^{k} n_{j}\left(X_{. j}-X_{. .}\right)^{2}}{\frac{1}{n-k} \sum _{j=1}^{k} \sum _{i=1}^{n_{j}}\left(X_{i j}-X_{. j}\right)^{2}},
\] где \[
X_{. j}=\frac{1}{n_{j}} \sum _{i=1}^{n_{j}} X_{i j}, \qquad X_{. .}=\frac{1}{k} \sum _{j=1}^{k} X_{. j},
\] т.е. \(X_{\cdot j}\) – это выборочное среднее в группе наблюдений \(j\), а \(X_{\cdot \cdot }\) – выборочное среднее средних каждой группы, т.е. в некотором смысле общее выборочное среднее. Выражение \(\sum_{j=1}^{k} n_{j}\left(X_{. j}-X_{. .}\right)^{2}\) в числителе \(F\) можно интерпретировать как меру межгруппового разброса. Выражение \(\sum_{i=1}^{n_{j}}\left(X_{i j}-X_{. j}\right)^{2}\) из знаменателя – мера разброса внутри группы \(j\). Докажите, что при верности \(H_{0}\) выполнено \(F \sim \operatorname {F}_{k-1, n-k}\).
Примечание. Задача оценивается в 3 балла.