\(\mathrm{E}[F_{d_1,d_2}] = \dfrac{d_2}{d_2-2}\) =
\(\mathrm{Var}[F_{d_1,d_2}]\) =
Проверка гипотез в линейной гауссовской модели
ПредупреждениеЧерновик
Этот конспект ещё находится в процессе редактуры: в тексте могут встречаться опечатки, неточности и локально не проработанные места. Если что-то нашли — сообщите, пожалуйста, автору (контакты на странице курса).
1 Проверка простой гипотезы вида \(\overrightarrow {\theta } = \overrightarrow {\theta }_0\)
Пусть имеется линейная гауссовская модель
\[ \overrightarrow {X} = \mathbf{z}\overrightarrow {\theta } + \overrightarrow {\varepsilon }, \qquad \overrightarrow {\theta } \in \mathbb {R}^{\tilde{k}}, \qquad \overrightarrow {\varepsilon } \sim \mathscr {N}\left(\overrightarrow {0}, \sigma ^2 \mathbf{I}_n\right). \]
Напомним, что если в модели нет свободного параметра, т.е.
\[ X_i = \theta _1 z_{i1} + \theta _2 z_{i2} + \ldots + \theta _k z_{ik} + \varepsilon _i, \]
то \(\tilde{k} = k\). Если же в регрессии есть свободный параметр, т.е. имеем модель
\[ X_i = \theta _0 + \theta _1 z_{i1} + \theta _2 z_{i2} + \ldots + \theta _k z_{ik} + \varepsilon _i, \]
то \(\tilde{k} = k + 1\).
Пусть даны следующая простая параметрическая базовая гипотеза против сложной параметрической альтернативы:
\[ H_0: \overrightarrow {\theta } = \overrightarrow {\theta }_0, \qquad H_1: \overrightarrow {\theta } \neq \overrightarrow {\theta }_0, \]
где \(\overrightarrow {\theta }_0 \in \mathbb {R}^{\tilde{k}}\) – произвольный фиксированный вектор.
Например, \(\overrightarrow {\theta }_0 = \overrightarrow {0}\): в этом случае проверяется \(\overrightarrow {X} = \overrightarrow {\varepsilon }\) против \(\overrightarrow {X} = \mathbf{z}\overrightarrow {\theta } + \overrightarrow {\varepsilon }\), где \(\overrightarrow {\theta } \neq \overrightarrow {0}\). В сущности проверяется гипотеза о том, что данные регрессоры \(\mathbf{z}\) действительно влияют на значения зависимой переменной \(\overrightarrow {X}\). Базовая гипотеза в данном случае состоит в том, что \(\overrightarrow {X}\) – просто шум, не зависящий никак от регрессоров.
Геометрия проверки простой гипотезы \(\mathbf z\overrightarrow{\theta}=\overrightarrow{\theta}_0\) (вариант на Three.js): наблюдение \(X\), его проекция \(\widehat X=X_L=\mathbf z\widehat{\overrightarrow\theta}\) на подпространство \(L\), гипотетическая точка \(F=\mathbf z\overrightarrow{\theta}_0\) и вектор расхождения \(\overrightarrow{FB}=X_L-\mathbf z\overrightarrow{\theta}_0\). Прямой угол в вершине \(B\) треугольника \(OFB{\to}A\) иллюстрирует, что \(X-X_L\perp L\), а \(F\)-статистика при верной \(H_0\) сравнивает длину короткого расхождения \(\overrightarrow{FB}\) (лежит в \(L\)) с длиной ошибки \(\overrightarrow{BA}=\widehat{\overrightarrow\varepsilon}\) (перпендикулярна \(L\)) — по теореме Кокрена эти векторы независимы. Подписи — настоящий отрендеренный LaTeX (KaTeX), закреплённый на своей линии/векторе и повёрнутый вдоль него; при вращении сцены мышью они остаются на месте. Колесо мыши — приближение.
Как проверить \(H_0\) против \(H_1\)? Присмотримся к рис. @LinearRegrHypTest:GraphSimpelHyp: если базовая гипотеза верна, т.е. неизвестный истинный параметр \(\overrightarrow {\theta }\) равен \(\overrightarrow {\theta }_0\), то его оценка \(\widehat{\overrightarrow {\theta }}\) не должна сильно отличаться от \(\overrightarrow {\theta }_0\), поскольку
\[ \widehat{\overrightarrow {\theta }} \sim \mathscr {N}\left(\overrightarrow {\theta }_0, \sigma ^2 \left(\mathbf{z}^T \mathbf{z}\right)^{-1}\right). \]
Иными словами, вектор
\[ \overrightarrow {FB} = \mathbf{z}\widehat{\overrightarrow {\theta }} - \mathbf{z}\overrightarrow {\theta }_0 = \widehat{\overrightarrow {X}} - \mathbb {E}\left[\widehat{\overrightarrow {X}}\right] \]
не должен быть большим по сравнению с прочими векторами
\[ \overrightarrow {OA} = \overrightarrow {X}, \qquad \overrightarrow {OB} = \widehat{\overrightarrow {X}}, \qquad \overrightarrow {BA} = \overrightarrow {X} -\widehat{\overrightarrow {X}}. \]
Удобно сравнивать \(\mathbf{z}\widehat{\overrightarrow {\theta }} - \mathbf{z}\overrightarrow {\theta }_0\) именно с последним вектором, с вектором \(\overrightarrow {X} -\widehat{\overrightarrow {X}} = \overrightarrow {X}_{L^\perp }\), поскольку в силу теор. Кокрена об ортогональном разложении гауссовского вектора эти векторы независимы. В силу той же теоремы найдем (в предположении верной \(H_0\)) и распределения квадратов длин этих векторов. Для вектора \(\overrightarrow {FB}\) заметим, что при верной \(H_0\)
\[ \overrightarrow {FB} = \mathbf{z}\widehat{\overrightarrow {\theta }} - \mathbf{z}\overrightarrow {\theta }_0 = \widehat{\overrightarrow {X}} - \mathbb {E}\left[\widehat{\overrightarrow {X}}\right] = \overrightarrow {X}_L - \mathbb {E}\left[\overrightarrow {X}_L\right], \]
поэтому
\[ \frac{1}{\sigma ^2}\left|\overrightarrow {FB}\right|^2 = \frac{1}{\sigma ^2}\left\| \overrightarrow {X}_L - \mathbb {E}\left[\overrightarrow {X}_L\right]\right\| ^2 \sim \chi ^2_{\tilde{k}}. \]
Для вектора \(\overrightarrow {BA} = \overrightarrow {X} -\widehat{\overrightarrow {X}} = \overrightarrow {X}_{L^\perp }\) выполнено \(\mathbb {E}\left[\overrightarrow {X}_{L^\perp }\right] = \overrightarrow {0}\), поэтому
\[ \frac{1}{\sigma ^2}\left|\overrightarrow {BA}\right|^2 = \frac{1}{\sigma ^2}\left\| \overrightarrow {X}_{L^\perp }\right\| ^2 = \frac{1}{\sigma ^2} \operatorname {RSS} \sim \chi ^2_{n-\tilde{k}}. \]
Плотность распределения Фишера \(\operatorname{F}_{d_1,d_2}\) — распределение отношения \(\frac{\xi_1/d_1}{\xi_2/d_2}\) независимых \(\chi^2_{d_1}, \chi^2_{d_2}\)-величин (см. опр. F-статистики выше). Двигайте ползунки \(d_1, d_2\) — плотность перестраивается непрерывно; кнопки задают четыре характерных примера. Если \(H_0\) верна, числитель и знаменатель \(F\)-статистики оценивают одну и ту же дисперсию \(\sigma^2\), и при росте \(d_1, d_2\) их отношение концентрируется около \(1\) (пунктирная вертикаль).
Статистика
\[ F := \frac{\left|\overrightarrow {FB}\right|^2 / \tilde{k}}{\left|\overrightarrow {BA}\right|^2 /( n - \tilde{k})} = \frac{\left\| \mathbf{z}\widehat{\overrightarrow {\theta }} - \mathbf{z}\overrightarrow {\theta }_0\right\| ^2/\tilde{k}}{\left\| \overrightarrow {X} -\widehat{\overrightarrow {X}}\right\| ^2/( n - \tilde{k})} \]
называется \(F\)-статистикой. В явном виде (раскрывая квадраты норм)
\[ F = \frac{\left(\widehat{\overrightarrow {\theta }} - \overrightarrow {\theta }_0\right)^T \mathbf{z}^T \mathbf{z}\left(\widehat{\overrightarrow {\theta }} - \overrightarrow {\theta }_0\right)/\tilde{k}}{\operatorname {RSS}/( n - \tilde{k})}. \]
Согласно опр. Определение 1, она распределена по закону распределения Фишера с \(\tilde{k}, n - \tilde{k}\) степенями свободы: \(F \sim \operatorname {F}_{\tilde{k}, n - \tilde{k}}\).
Критерий УЗ \(\alpha\) проверки \(H_0\) против \(H_1\): если \(F\)-статистика слишком большая, больше квантиля уровня \(1-\alpha\) из распределения \(\operatorname {F}_{\tilde{k}, n - \tilde{k}}\), то \(H_0\) отвергаем. Т.е.
\[ S = \left\{ \overrightarrow {x} \in \mathbb {R}^{n}: F(\overrightarrow {x}) > Q_{\operatorname {F}_{\tilde{k}, n - \tilde{k}}}(1 - \alpha )\right\} . \]
2 Общий случай: проверка сложной гипотезы вида \(\mathbf{w}^T\overrightarrow {\theta } = \overrightarrow {\tau }_0\)
В условиях предыдущего параграфа рассмотрим сложную параметрическую базовую гипотезу против сложной параметрической альтернативы:
\[ H_0: \mathbf{w}^T \overrightarrow {\theta } = \overrightarrow {\tau }_0, \qquad H_1: \mathbf{w}^T \overrightarrow {\theta } \neq \overrightarrow {\tau }_0, \tag{1}\]
где \(\mathbf{w} \in \mathbb {R}^{\tilde{k} \times m}\) – некоторая фиксированная матрица размерности \(\tilde{k} \times m, \; m \leq \tilde{k}\) полного ранга: \(\operatorname {rk}(\mathbf{w}) = m\). \(\overrightarrow {\tau }_0 \in \mathbb {R}^{m}\) – некоторый фиксированный вектор.
Стоит оговориться, что гипотеза \(H_0\) из LinearRegrHypTest:ComposHyp будет сложной только если в матрице \(\mathbf{w}^T\) строк меньше, чем столбцов, т.е. \(m < \tilde{k}\). Заметим, что простая гипотеза \(\overrightarrow {\theta } = \overrightarrow {\theta }_0\) из предыдущего параграфа – частный случай LinearRegrHypTest:ComposHyp: нужно просто взять \(\mathbf{w} = \mathbf{I}_{\tilde{k}}, \; \overrightarrow {\tau }_0 = \overrightarrow {\theta }_0\).
Геометрия проверки сложной гипотезы \(\mathbf w^T\overrightarrow{\theta}=\overrightarrow{\tau_0}\) (вариант на Three.js): подпространство \(L_1\) (условие \(\mathbf w^T\overrightarrow{\theta}=0\)) и его ортогональное дополнение \(L_2\) в \(L\), аффинные подпространства \(\mathcal L_1=L_1+\overrightarrow{l_2}\) и его оценка \(\widehat{\mathcal L}_1=L_1+X_{L_2}\), точки \(B=X_L=\mathbf z\widehat{\overrightarrow{\theta}}\) и \(F=X_{\mathcal L_1}\) (условная МНК-оценка). Прямые углы в вершинах \(B\) и \(F\) треугольника \(AFB\) иллюстрируют теорему Пифагора. Подписи — настоящий отрендеренный LaTeX (KaTeX), закреплённый на своей линии/векторе и повёрнутый вдоль него; при вращении сцены мышью они остаются на месте и корректно перестраивают угол. Колесо мыши — приближение, ползунок \(\tau_0\) ниже — двигает гипотезу.
Как проверить \(H_0\) против \(H_1\)? Присмотримся к рис. @LinearRegrHypTest:GraphCompositeHyp. Заметим, что условие \(\mathbf{w}^T \overrightarrow {\theta } = \overrightarrow {0}\) на вектор \(\mathbf{z}\overrightarrow {\theta } \in \mathbb {R}^{n}\) задает некоторое линейное подподпространство \(L_1\) в подпространстве
\[ L = \left\{ \mathbf{z}\overrightarrow {\theta }: \; \overrightarrow {\theta } \in \mathbb {R}^{\tilde{k}}\right\} \subset \mathbb {R}^{n}. \]
Поскольку ранг матрицы \(\mathbf{w}^T\) равен \(m\), т.е. количеству ее строк, то условие \(\mathbf{w}^T \overrightarrow {\theta } = \overrightarrow {0}\) задает \(m\) линейных ограничений на \(\tilde{k}\)-мерный вектор \(\overrightarrow {\theta }\). Следовательно,
\[ \dim (L_1) = \dim (L) - m = \tilde{k}-m. \]
Обозначим \(L_2\) ортогональное дополнение к \(L_1\) в подпространстве \(L\). Имеем \(\dim (L_2) = \dim (L) - \dim (L_1) = m\).
Условие \(\mathbf{w}^T \overrightarrow {\theta } = \overrightarrow {\tau }_0\) на вектор \(\mathbf{z}\overrightarrow {\theta } \in \mathbb {R}^{n}\) задает, очевидно, некоторое аффинное подпространство \(\mathcal{L}_1\) с линейной частью \(L_1\). Пусть \(\overrightarrow {l}_2 := L_2 \cap \mathcal{L}_1\). Заметим, что \(\mathcal{L}_1 = L_1 + \overrightarrow {l}_2\).
Обозначим \(\widehat{\overrightarrow {\tau }} := \mathbf{w}^T \widehat{\overrightarrow {\theta }}\). Заметим, что
\[ \mathbb {E}\left[\widehat{\overrightarrow {\tau }}\right] = \mathbf{w}^T \mathbb {E}\left[\widehat{\overrightarrow {\theta }}\right] = \mathbf{w}^T \overrightarrow {\theta } \qquad \forall \overrightarrow {\theta } \in \mathbb {R}^{\tilde{k}}, \]
т.е. \(\widehat{\overrightarrow {\tau }}\) – несмещенная оценка \(\mathbf{w}^T \overrightarrow {\theta }\). Поскольку \(\widehat{\overrightarrow {\tau }}\) является функцией от полной, достаточной статистики, \(\widehat{\overrightarrow {\tau }}\) – оптимальная оценка \(\mathbf{w}^T \overrightarrow {\theta }\).
Обозначим
\[ \widehat{\mathcal{L}}_1 := \left\{ \mathbf{z}\overrightarrow {\theta }: \; \mathbf{w}^T\overrightarrow {\theta } = \widehat{\overrightarrow {\tau }}\right\} \]
оценку аффинного подпространства \(\mathcal{L}_1\). Заметим, что \(\widehat{\mathcal{L}}_1 = L_1 + \overrightarrow {X}_{L_2}\). Обозначим
\[ \overrightarrow {X}_{\mathcal{L}_1} = \operatorname *{arg\, min}_{\overrightarrow {x} \in \mathcal{L}_1}\left\| \overrightarrow {X} - \overrightarrow {x}\right\| \]
Заметим, что \(\overrightarrow {X}_{\mathcal{L}_1} = \overrightarrow {X}_{L_1} + \overrightarrow {l}_2\)
Если \(H_0\) верна, то оценка \(\widehat{\overrightarrow {\tau }}\) должна быть близка к \(\overrightarrow {\tau }_0\), а \(\widehat{\mathcal{L}}_1\) должно быть близко к \(\mathcal{L}_1\). Расстояние между ними
\[ \rho (\widehat{\mathcal{L}}_1, \mathcal{L}_1) = \left|\overrightarrow {FB}\right| = \left\| \overrightarrow {X}_L - \overrightarrow {X}_{\mathcal{L}_1}\right\| , \]
как и в предыдущем параграфе, удобно сравнивать с \(\left|\overrightarrow {BA}\right| = \left\| \overrightarrow {X} - \overrightarrow {X_L}\right\| = \sqrt{\operatorname {RSS}}\), поскольку по теор. об ортогональном разложении гауссовского вектора векторы
\[ \overrightarrow {FB} = \overrightarrow {X}_L - \overrightarrow {X}_{\mathcal{L}_1} = \overrightarrow {X}_{L_2} - \overrightarrow {l}_2 \qquad \text{и}\qquad \overrightarrow {BA} = \overrightarrow {X} - \overrightarrow {X_L} \]
независимы.
Как находить \(\left|\overrightarrow {BA}\right|^2 = \left\| \overrightarrow {X} - \overrightarrow {X_L}\right\|^2 = \operatorname {RSS}\) и как распределено \(\operatorname {RSS}\) мы с вами уже знаем:
\[ \operatorname {RSS} = \left\| \overrightarrow {X} - \mathbf{z}\widehat{\overrightarrow {\theta }}\right\| ^2, \qquad \frac{1}{\sigma ^2}\operatorname {RSS} \sim \chi ^2_{n-\tilde{k}}. \]
Выразим \(\left|\overrightarrow {FB}\right|^2\) через \(\overrightarrow {X}, \mathbf{z}, \mathbf{w}\) и найдем распределение \(\left|\overrightarrow {FB}\right|^2\).
Статистика
\[ F = F(\overrightarrow {X}) := \frac{\left|\overrightarrow {FB}\right|^2 / m}{\left|\overrightarrow {BA}\right|^2 /( n - \tilde{k})} = \frac{\left\| \overrightarrow {X}_{L} - \overrightarrow {X}_{\mathcal{L}_1}\right\| ^2/m}{\left\| \overrightarrow {X} -\widehat{\overrightarrow {X}}\right\| ^2/( n - \tilde{k})} \]
называется \(F\)-статистикой. По теореме Теорема 1 в явном виде
\[ F = \frac{\left(\widehat{\overrightarrow {\tau }} - \overrightarrow {\tau }_0\right)^T \mathbf{b}^{-1}\left(\widehat{\overrightarrow {\tau }} - \overrightarrow {\tau }_0\right)/m}{\operatorname {RSS}/( n - \tilde{k})}. \]
Если \(H_0\) верна, то согласно доказанному выше и опр. Определение 1, эта статистика распределена по закону распределения Фишера с \(m, n - \tilde{k}\) степенями свободы: \(F \sim \operatorname {F}_{m, n - \tilde{k}}\).
Критерий УЗ \(\alpha\) проверки \(H_0\) против \(H_1\): если \(F\)-статистика слишком большая, больше квантиля уровня \(1-\alpha\) из распределения \(\operatorname {F}_{m, n - \tilde{k}}\), то \(H_0\) отвергаем. Т.е.
\[ S = \left\{ \overrightarrow {x} \in \mathbb {R}^{n}: F(\overrightarrow {x}) > Q_{\operatorname {F}_{m, n - \tilde{k}}}(1 - \alpha )\right\} . \]
В некоторых задачах подсчет статистики \(F\) затруднителен из-за того, что приходится вычислять обратную матрицу \(\mathbf{b}^{-1}\). В этих случаях удобно воспользоваться теоремой Пифагора в треугольнике \(AFB\) (см. рис. @LinearRegrHypTest:GraphCompositeHyp). Имеем
\[ \min _{\overrightarrow {\theta }: \mathbf{w}^T\overrightarrow {\theta } = \overrightarrow {\tau }_0}\left\| \overrightarrow {X} - \mathbf{z}\overrightarrow {\theta }\right\| ^2 = \left\| \overrightarrow {X} - \overrightarrow {X}_{\mathcal{L}_1}\right\| ^2 = \left|\overrightarrow {FA}\right|^2 = \left|\overrightarrow {FB}\right|^2 + \left|\overrightarrow {BA}\right|^2 = \left|\overrightarrow {FB}\right|^2 + \operatorname {RSS} \]
Если величину
\[ \operatorname {RSS} = \min _{\overrightarrow {\theta } \in \mathbb {R}^{\tilde{k}}}\left\| \overrightarrow {X} - \mathbf{z}\overrightarrow {\theta }\right\| ^2 \]
называют оценкой суммы наименьших квадратов, то величину
\[ \min _{\overrightarrow {\theta }: \mathbf{w}^T\overrightarrow {\theta } = \overrightarrow {\tau }_0}\left\| \overrightarrow {X} - \mathbf{z}\overrightarrow {\theta }\right\| ^2 \]
называют условной оценкой наименьших квадратов. Зачастую удобнее оказывается вычислить условную оценку наименьших квадратов, а затем выразить \(\left|\overrightarrow {FB}\right|^2\) как
\[ \left|\overrightarrow {FB}\right|^2 = \min _{\overrightarrow {\theta }: \mathbf{w}^T\overrightarrow {\theta } = \overrightarrow {\tau }_0}\left\| \overrightarrow {X} - \mathbf{z}\overrightarrow {\theta }\right\| ^2 - \operatorname {RSS} \]
\[ \]
F = 4.64, p-значение 6.6,
\[ где $\operatorname {RSS}_0$ – условная (при $H_0$, т.е. для модели-константы) сумма квадратов. Итого: а) на УЗ $10\% $ гипотезу $H_0$ отвергаем; б) на УЗ $5\% $ и в) на УЗ $1\% $ – не отвергаем. Заметьте: по отдельности все коэффициенты незначимы по $t$-критериям (степени $t, t^2, t^3$ сильно коррелированы – мультиколлинеарность), но совместная $F$-проверка на $10\% $-м уровне эффект видит. \]
3 (*) Классические тесты как частные случаи линейной модели
Материала этой главы (вместе с главой о линейной регрессии) достаточно, чтобы «прочитать» почти весь стандартный набор тестов, зашитый в статистические пакеты. Для определенности будем ориентироваться на надстройку Excel «Пакет анализа» (Analysis ToolPak); в ней с линейной гауссовской моделью связаны инструменты:
три \(t\)-теста: «Парный двухвыборочный \(t\)-тест для средних», «Двухвыборочный \(t\)-тест с одинаковыми дисперсиями», «Двухвыборочный \(t\)-тест с различными дисперсиями»;
«Двухвыборочный \(z\)-тест для средних»;
«Двухвыборочный \(F\)-тест для дисперсии»;
три варианта дисперсионного анализа: «Однофакторный», «Двухфакторный с повторениями», «Двухфакторный без повторений»;
«Регрессия».
Почти все они – частные случаи \(F\)-критерия из этой главы, примененного к подходящей линейной модели (а немногие исключения – Уэлч и \(F\)-тест для дисперсий – собраны из тех же «кирпичей» теоремы Кокрена). Разберем их по очереди.
3.1 \(t\)-форма \(F\)-критерия для одномерных гипотез
Все перечисленные \(t\)-статистики – это «корни» \(F\)-статистик. Точный смысл придает следующая теорема.
\[ \]
H_0: w^T = _0.
\[ Обозначим $\widehat{\tau } := \mathbf{w}^T\widehat{\overrightarrow {\theta }}$, $b := \mathbf{w}^T\left(\mathbf{z}^T\mathbf{z}\right)^{-1}\mathbf{w} > 0$, $\widehat{\sigma ^2} := \operatorname {RSS}/(n - \tilde{k})$. Тогда при верной $H_0$ статистика \]
T := T_n - k,
\[ причем $F$-статистика для этой гипотезы равна $F = T^2$. \]
\[ \]
Nw^T, ^2 wTzTz^-1w = Nw^T, ^2 b.
\[ При верной $H_0$ имеем $\mathbf{w}^T\overrightarrow {\theta } = \tau _0$, откуда \]
N0, 1.
\[ По \hyperref[LinearRegr:CochranTheorem]{теореме Кокрена} статистики $\widehat{\overrightarrow {\theta }}$ (функция от $\overrightarrow {X}_L$) и $\operatorname {RSS}$ (функция от $\overrightarrow {X}_{L^\perp }$) независимы, причем \]
^2 = ^2_n - k.
\[ По определению распределения Стьюдента (см. главу о линейной регрессии) \]
T = = T_n - k.
\[ Наконец, при $m = 1$ матрица $\mathbf{b}$ -- это число $b$, и \]
F = = = T^2.
\[ \]
Критерий УЗ \(\alpha\) на основе \(T\) против двусторонней альтернативы \(H_1: \mathbf{w}^T\overrightarrow {\theta } \neq \tau_0\) совпадает с \(F\)-критерием:
\[ \]
S = T > Q_T_n-k1 - 2, p-значение = PT_n - k > T(x).
\[ Преимущество $t$-формы в том, что она, в отличие от $F = T^2$, «видит знак» отклонения, а значит позволяет тестировать и \textit{односторонние} альтернативы $H_1: \mathbf{w}^T\overrightarrow {\theta } > \tau _0$ (критерий $\left\{ T > Q_{T_{n-\tilde{k}}}(1 - \alpha )\right\} $) и $H_1: \mathbf{w}^T\overrightarrow {\theta } < \tau _0$ (критерий $\left\{ T < Q_{T_{n-\tilde{k}}}(\alpha )\right\} $). Именно поэтому Excel в выдаче $t$-тестов приводит по паре значений: «$t$ критическое одностороннее» и «$t$ критическое двухстороннее» (и соответствующие $p$-значения). \]
3.2 Одновыборочный \(t\)-тест
Дана выборка \(X_1, \ldots , X_n\) из \(\mathscr {N}\left(\theta , \sigma^2\right)\) (оба параметра неизвестны), проверяется \(H_0: \theta = \theta_0\). Модель нам уже встречалась в примере Пример 1 про кофейный автомат:
\[ \]
X = 1+ , k = 1, w = 1, b = 1T1-1 = , = = X.
\[ Здесь $\widehat{\sigma ^2} = \operatorname {RSS}/(n-1) = s^2$ -- несмещенная выборочная дисперсия, и теорема \ref{LinearRegrHypTest:TFormThm} дает знакомую по главе о доверительных интервалах статистику \]
T = T_n-1 при верной H_0.
$$ В примере \(\ref{LinearRegrHypTest:EspressoExample}\) мы уже видели ее в деле (и связь \(F = T^2\)).
В «Пакете анализа» отдельной кнопки для одновыборочного теста нет: он получается из парного теста ниже, если в качестве второй «выборки» подать столбец из констант \(\theta _0\). $$
3.3 Парный \(t\)-тест
Инструмент «Парный двухвыборочный \(t\)-тест для средних». Данные – \(n\) пар \((X_i, Y_i)\): два измерения на одном и том же объекте (до/после лечения, левый/правый глаз, два прибора на одной детали). Внутри пары измерения зависимы, поэтому модель двух независимых выборок не годится. Вместо этого перейдем к разностям:
\[ \]
D_i := X_i - Y_i = + _i, _i N0, _D^2 независимы,
\[ и гипотеза «эффекта нет» превращается в $H_0: \delta = \delta _0$ (обычно $\delta _0 = 0$; Excel позволяет задать «гипотетическую среднюю разность»). Это одновыборочный $t$-тест для $\overrightarrow {D}$: \]
T = T_n-1 при верной H_0, s_D^2 = _i=1^n D_i - D^2.
$$ В чем выигрыш парной схемы? Если у каждого объекта есть свой индивидуальный уровень \(\mu _i\), т.е. \(X_i = \mu _i + \xi _i\), \(Y_i = \mu _i - \delta + \eta _i\), то в разностях \(D_i = \delta + (\xi _i - \eta _i)\) индивидуальные уровни : межобъектный разброс \(\mu _i\) не попадает в дисперсию статистики.
$$ {#eq-LinearRegrHypTest:PulseExample}
D = (7, 1, 6, -1, 5, 2, 8, 0)^T, D = 3.5, s_D^2 = 11.71.
\[ Проверяем $H_0: \delta = 0$ против $H_1: \delta \neq 0$: \]
T = 2.89, T > Q_T_7(0.975) 2.36,
$$ поэтому на УЗ $5% $ гипотезу отвергаем: кофе значимо ускоряет пульс (в среднем на \(3.5\) уд./мин); \(p\)-значение $(|T_7| > 2.89) % $. На УЗ $1% $ отвергнуть не смогли бы (\(Q_{T_7}(0.995) \approx 3.50\)).
Поучительно посмотреть, что было бы, примени мы к этим же данным тест (следующий пункт), проигнорировав парность: \(\overline{X^{\text{после}}} - \overline{X^{\text{до}}} = 3.5\) - та же, но межиндивидуальный разброс пульса (от \(61\) до \(95\) уд./мин) попадает в оценку дисперсии: \(s_p \approx 9.6\), \(T \approx 0.73\), $p % $ – никакого эффекта не видно. Парная схема убирает этот разброс и делает эффект видимым. $$
\[ \]
D = 0.317, s_D^2 0.0617, T = 3.12.
\[ Альтернатива $H_1: \delta > 0$ (расход «до» больше), критическая область $\left\{ T > Q_{T_5}(0.95) \approx 2.02\right\} $: гипотезу отвергаем, снижение расхода значимо (в среднем $0.32$ л$/100$ км); $p$-значение $\mathbb {P}\left(T_5 > 3.12\right) \approx 1.3\% $. \]
3.4 Двухвыборочный \(t\)-тест: одинаковые дисперсии
Инструмент «Двухвыборочный \(t\)-тест с одинаковыми дисперсиями». Данные – две независимые выборки с общей неизвестной дисперсией:
\[ \]
X^(1)_1, , X^(1)_n_1 Na_1, ^2, X^(2)_1, , X^(2)_n_2 Na_2, ^2;
$$ проверяется \(H_0: a_1 - a_2 = \delta _0\) (обычно \(\delta _0 = 0\): «средние равны»).
Это в точности модель из примера \(\ref{LinearRegrHypTest:CompositeExampleWithCoins}\) про взвешивание монет: \(\tilde{k} = 2\), \(\mathbf{w} = (1, -1)^T\), и, как посчитано в примере \(\ref{LinearRegrHypTest:CompositeExampleWithCoinsSol}\), $$
= X^(1)- X^(2), b = + , ^2 = = =: s_p^2,
\[ где $s_i^2$ -- несмещенные выборочные дисперсии. Оценку $s_p^2$ называют \textit{объединенной (pooled) дисперсией}: обе выборки складываются в общий «котел» для оценивания $\sigma ^2$. По теореме \ref{LinearRegrHypTest:TFormThm} \]
T = T_n_1 + n_2 - 2 при верной H_0,
\[ а $F$-статистика из примера \ref{LinearRegrHypTest:CompositeExampleWithCoinsSol} – это ее квадрат (при $\delta _0 = 0$). \]
3.5 Двухвыборочный \(t\)-тест Уэлча: различные дисперсии
Инструмент «Двухвыборочный \(t\)-тест с различными дисперсиями». Если \(\sigma_1^2 \neq \sigma_2^2\), то нарушается гомоскедастичность – ключевое условие нашей линейной модели (\(\operatorname {Var}\left[\overrightarrow {\varepsilon }\right] = \sigma^2\mathbf{I}_n\)), и весь механизм этой главы перестает работать. Точного аналога теоремы Теорема 2 здесь нет (это знаменитая проблема Беренса–Фишера), но есть хорошее приближение – тест Уэлча (Welch):
\[ \]
T_W = T_, =
$$ (приближение Уэлча–Саттертуэйта: подбирается такое число степеней свободы $$, чтобы распределение Стьюдента наилучшим образом приближало истинное распределение знаменателя). Число $$ обычно нецелое, \(\min (n_1, n_2) - 1 \leq \nu \leq n_1 + n_2 - 2\); Excel в выдаче округляет его до целого.
Практические замечания. При \(s_1^2 \approx s_2^2\) и \(n_1 \approx n_2\) статистики и выводы двух двухвыборочных тестов почти совпадают. Если же дисперсии различаются заметно (особенно при разных \(n_i\)), тест с объединенной дисперсией может сильно врать с уровнем значимости, а Уэлч остается приближенно честным. Поэтому современная практическая рекомендация: сомневаетесь в равенстве дисперсий – используйте сразу Уэлча. $$
3.6 \(z\)-тесты: дисперсии известны
Инструмент «Двухвыборочный \(z\)-тест для средних». Если дисперсии \(\sigma_1^2, \sigma_2^2\) известны (Excel просит ввести их руками), то оценивать \(\sigma^2\) не нужно, стьюдентизация не требуется, и статистика при верной \(H_0: a_1 - a_2 = \delta_0\) имеет точное нормальное распределение:
\[ \]
Z = N0, 1.
$$ Заметьте: здесь разрешены \(\sigma _1^2 \neq \sigma _2^2\) – проблема предыдущего пункта возникала только из-за дисперсий. Одновыборочный вариант аналогичен: \(Z = \sqrt{n}\left(\overline{X} - \theta _0\right)/\sigma \sim \mathscr {N}\left(0, 1\right)\).
Когда дисперсию можно считать известной? Либо она задана паспортом измерительного прибора (выверена производителем на огромном материале), либо выборки настолько большие, что \(s_i^2\) можно подставить вместо \(\sigma _i^2\): тогда \(z\)-тест – асимптотический (по ЦПТ он, кстати, не требует и нормальности выборок), а \(t\)-тесты при больших \(n\) с ним практически совпадают (\(T_n \xrightarrow [n \to \infty ]{d} \mathscr {N}\left(0, 1\right)\)).
$$ {#eq-LinearRegrHypTest:SugarExample}
Z = = 2.50.
\[ Поскольку $\left|Z\right| = 2.50 > Q_{\mathscr {N}\left(0, 1\right)}(0.975) \approx 1.96$, на УЗ $5\% $ гипотезу отвергаем: дозаторы настроены на разный средний вес ($p$-значение $\approx 1.2\% $). Заметьте, насколько мала «значимая» разница -- $2.8$ г при $\sigma = 5$ г: выборки по $40$ пакетов делают тест чувствительным к небольшим расхождениям. Значимость -- не то же самое, что практическая важность: важна ли разница в $2.8$ г -- вопрос не к статистике, а к технологу. \]
3.7 \(F\)-тест равенства дисперсий
Инструмент «Двухвыборочный \(F\)-тест для дисперсии». Здесь гипотеза уже не о среднем, а о дисперсиях двух независимых нормальных выборок: \(H_0: \sigma_1^2 = \sigma_2^2\). Из главы о линейной регрессии мы знаем (по сути – из теоремы Кокрена для модели-константы), что
\[ \]
^2_n_1 - 1, ^2_n_2 - 1,
\[ и эти величины независимы (выборки независимы). По определению \ref{LinearRegrHypTest:FisherDistrDef} распределения Фишера при верной $H_0$ \]
F = = F_n_1 - 1, n_2 - 1.
$$ Альтернатива двусторонняя (\(\sigma _1^2 \neq \sigma _2^2\)), поэтому отвергаем, если \(F \not\in \left(Q_{\operatorname {F}_{n_1-1,n_2-1}}\left(\frac{\alpha }{2}\right), Q_{\operatorname {F}_{n_1-1,n_2-1}}\left(1 - \frac{\alpha }{2}\right)\right)\). Excel выдает одностороннее \(p\)-значение \(\mathbb {P}\left(\operatorname {F} > F\right)\) – для двусторонней альтернативы его нужно удваивать (либо, как часто делают, заранее ставить большую из дисперсий в числитель).
Два предостережения. Во-первых, этим тестом часто «проверяют равенство дисперсий», чтобы выбрать между двумя двухвыборочными \(t\)-тестами; такая двухступенчатая процедура искажает итоговый уровень значимости, и проще сразу брать Уэлча. Во-вторых, в отличие от \(t\)-тестов (довольно устойчивых к негауссовости выборок благодаря ЦПТ), \(F\)-тест для дисперсий к отклонениям от нормальности очень чувствителен даже при больших \(n\). $$
3.8 Дисперсионный анализ (ANOVA)
«Однофакторный дисперсионный анализ» – это в точности задача Задача 9: \(k\) независимых групп наблюдений с общей дисперсией, гипотеза однородности \(H_0: \mu_1 = \ldots = \mu_k\) (\(m = k - 1\) линейных ограничений), статистика
\[ \]
F = F_k-1, N-k при верной H_0
$$ (межгрупповой разброс против внутригруппового). Excel выдает таблицу с \(\operatorname {SS}\), \(\operatorname {df}\), \(\operatorname {MS} = \operatorname {SS}/\operatorname {df}\), \(F\), \(p\)-значением и критическим значением.
$$ {#eq-LinearRegrHypTest:ANOVAvsTTestProblem}
X = , X^(1)- X = , X^(2)- X = -.
\[ Тогда \]
SS_Treatments = n_1^2 + n_2^2 = ^2 = .
\[ При этом $\operatorname {SS}_{\text{Error}}/(N - 2) = s_p^2$ -- объединенная дисперсия. Итого \]
F = = = T^2.
\[ \]
\[ \]
X_1 = 8, X_2 = 11.4, X_3 = 7.4, X = 8.93.
\[ Суммы квадратов: \]
\[ \] SS_Treatments = 5(8 - 8.93)^2 + (11.4 - 8.93)^2 + (7.4 - 8.93)^2 46.5, SS_Error = 2 + 23.2 + 17.2 = 42.4 \[ \]
\[ (три слагаемых $\operatorname {SS}_{\text{Error}}$ -- внутригрупповые суммы квадратов по филиалам). Статистика \]
F = 6.59 > Q_F_2,12(0.95) 3.89,
$$ гипотезу однородности отвергаем (\(p\)-значение $% $): филиалы работают по-разному, и, судя по средним, «тормозит» филиал Б.
Осторожно с интерпретацией: дисперсионный анализ говорит лишь, что средние равны, но не говорит, различаются. Корректные попарные сравнения после общего \(F\)-теста – отдельная тема (множественные сравнения, поправки типа Бонферрони), выходящая за рамки конспекта. $$
\[ \]
SS_Treatments = 3.0, SS_Error = 35.5, F = 0.63 < Q_F_2,15(0.95) 3.68,
\[ $p$-значение $\approx 54\% $: гипотезу однородности не отвергаем. Средний балл группы 1 действительно выше на балл, но разброс баллов внутри групп настолько велик, что такое отклонение легко возникает случайно. Гордиться пока нечем (как, впрочем, и стыдиться). \]
Двухфакторный дисперсионный анализ обобщает картину: наблюдения размечены сразу двумя факторами (например, урожайность: сорт \(\times\) удобрение). В сбалансированной модели «с повторениями» в каждой ячейке \((i, j)\) сделано \(r\) наблюдений:
\[ \]
X_ijl = + _i + _j + _ij + _ijl, i = 1,a, j = 1,b, l = 1,r,
\[ где $\alpha _i$ -- эффект уровня первого фактора, $\beta _j$ -- второго, $\gamma _{ij}$ -- их \textit{взаимодействие}, а для идентифицируемости наложены ограничения $\sum _i \alpha _i = \sum _j \beta _j = \sum _i \gamma _{ij} = \sum _j \gamma _{ij} = 0$. Это снова линейная гауссовская модель, а гипотезы «первый фактор не влияет» ($H_0^{A}$: все $\alpha _i = 0$), «второй не влияет» ($H_0^{B}$), «взаимодействия нет» ($H_0^{AB}$) -- линейные гипотезы вида $\mathbf{w}^T\overrightarrow {\theta } = \overrightarrow {0}$, к которым применима общая теория. Выпишем ответ (вывод -- прямое, хотя и громоздкое, применение схемы этой главы через условную ОНК; предлагаем читателю в качестве упражнения повышенной трудоемкости). В обозначениях средних по ячейке $\overline{X}_{ij\cdot }$, по уровням факторов $\overline{X}_{i\cdot \cdot }, \overline{X}_{\cdot j \cdot }$ и общего среднего $\overline{X}$: \]
\[ \] SS_A = br_i=1^a X_i- X^2, SS_B = ar_j=1^b X_j- X^2, SS_AB = r_i=1a_j=1b X_ij- X_i- X_j + X^2, SS_E = _i,j,l X_ijl- X_ij^2, \[ \]
\[ и при верных соответствующих гипотезах \]
F_A = F_a-1, ab(r-1), F_B F_b-1, ab(r-1), F_AB F_(a-1)(b-1), ab(r-1)
$$ (статистики \(F_B, F_{AB}\) строятся из \(\operatorname {SS}_{B}, \operatorname {SS}_{AB}\) аналогично). Инструмент «без повторений» – случай \(r = 1\): взаимодействие тогда неотличимо от шума (в ячейке одно наблюдение), поэтому модель берется аддитивной (\(\gamma _{ij} = 0\)), а роль \(\operatorname {SS}_{E}\) играет остаточная сумма \(\operatorname {SS}_{\text{res}} = \sum _{i,j}\left(X_{ij} - \overline{X}_{i\cdot } - \overline{X}_{\cdot j} + \overline{X}\right)^2\) с \((a-1)(b-1)\) степенями свободы.
$$
\[ \] SS_A = 3(37 - 32.33)^2 + (32 - 32.33)^2 + (28 - 32.33)^2 = 122.0, SS_B = 3(28.67 - 32.33)^2 + (32.33 - 32.33)^2 + (36 - 32.33)^2 80.7, SS_res = _i,jX_ij- X_i- X_j + X^2 13.3 ((a-1)(b-1) = 4 ст. свободы). \[ \]
\[ Статистики: \]
F_A = 18.3, F_B = 12.1, Q_F_2,4(0.95) 6.94.
$$ Обе статистики в критической области: значимо влияние и сорта ($p % \(), и поля (\)p % $).
Заметьте пользу двухфакторной схемы: если сравнивать сорта анализом, игнорируя фактор поля, то почвенный разброс уйдет в \(\operatorname {SS}_{\text{Error}} = \operatorname {SS}_{B} + \operatorname {SS}_{\text{res}} \approx 94\) (\(6\) ст. свободы), и эффект сорта размоется: \(F = \frac{122/2}{94/6} \approx 3.9 < Q_{\operatorname {F}_{2,6}}(0.95) \approx 5.14\) – уже незначимо. Учет второго фактора вычитает этот разброс явно (ср. с выигрышем парного \(t\)-теста). $$
3.9 Инструмент <<Регрессия>>
Последний и самый содержательный инструмент «Пакета анализа» оценивает модель со свободным членом \(\overrightarrow {X} = \mathbf{z}\overrightarrow {\theta } + \overrightarrow {\varepsilon }\), \(\tilde{k} = k + 1\), и выдает три блока, целиком собирающиеся из результатов глав о линейной регрессии и о проверке гипотез. Обозначим, как обычно, \(\left(\mathbf{z}^T\mathbf{z}\right)^{-1} = (a_{i,j})\), \(\widehat{\sigma^2} = \operatorname {RSS}/(n - \tilde{k})\).
- Блок «Регрессионная статистика»: коэффициент детерминации «\(R\)-квадрат» \(R^2 = \operatorname {ESS}/\operatorname {TSS}\); «Множественный \(R\)» \(= \sqrt{R^2}\) (как мы увидим в главе о коэффициентах корреляции, это выборочная корреляция между \(\overrightarrow {X}\) и \(\widehat{\overrightarrow {X}}\)); «Стандартная ошибка» \(= \sqrt{\widehat{\sigma^2}}\); «Нормированный \(R\)-квадрат»
\[ \]
R^2_adj = 1 - (1 - R^2)
\[ -- вариант $R^2$ со штрафом за число регрессоров: обычный $R^2$ при добавлении любого, даже бесполезного, регрессора не убывает, а $R^2_{adj}$ может и упасть (несмещенные оценки дисперсий остатка и отклика вместо смещенных). \item Блок «Дисперсионный анализ»: строки «Регрессия» / «Остаток» / «Итого» с $\operatorname {df} = k, \; n - k - 1, \; n-1$ и $\operatorname {SS} = \operatorname {ESS}, \operatorname {RSS}, \operatorname {TSS}$; статистика \]
F = F_k, n-k-1 при H_0: _1 = = _k = 0
\[ -- $F$-тест \textit{значимости регрессии в целом} («объясняют ли регрессоры хоть что-нибудь»), знакомый нам по задаче \ref{LinearRegrHypTest:R2FreeParamProblem} (там же -- его выражение через $R^2$); «Значимость $F$» -- его $p$-значение. \item Таблица коэффициентов, по строке на каждый параметр $\theta _j$ (включая свободный член -- «$Y$-пересечение»): оценка $\widehat{\theta }_j$; ее \textit{стандартная ошибка} $\operatorname {se}_j := \sqrt{a_{j,j}\widehat{\sigma ^2}}$; «$t$-статистика» \]
t_j = T_n - k при H_0: _j = 0
\[ \]
– тест значимости отдельного коэффициента: это теорема Теорема 2 с \(\mathbf{w} = \overrightarrow {e}_j\), \(\tau_0 = 0\), \(b = a_{j,j}\); «\(P\)-значение» (двустороннее) и границы доверительного интервала \(\widehat{\theta }_j \pm Q_{T_{n - \tilde{k}}}\left(1 - \frac{\alpha }{2}\right)\operatorname {se}_j\) уровня доверия \(95\%\) (совпадает с интервалом из главы о линейной регрессии).
ExampleПример 17
Прогоните через инструмент «Регрессия» данные о поездках на такси из примера Пример 2 и прочитайте выдачу.
SolutionРешение
Выдача инструмента (все числа пересчитаны по формулам выше):
| Коэфф. | Ст. ошибка | \(t\)-стат. | \(P\)-значение | Нижние\(95\%\) | Верхние\(95\%\) | |
|---|---|---|---|---|---|---|
| \(Y\)-пересечение | \(108.27\) | \(16.71\) | \(6.48\) | \(0.0013\) | \(65.31\) | \(151.23\) |
| \(d\) (км) | \(32.08\) | \(1.90\) | \(16.92\) | \(1.0 \cdot 10^{-5}\) | \(27.20\) | \(36.95\) |
Читаем ее.
Модель объясняет данные отлично: \(R^2 \approx 0.983\) (и \(R^2_{adj} \approx 0.979\) недалеко ушел), типичный разброс цены вокруг прямой – «Стандартная ошибка» \(\sqrt{\widehat{\sigma^2}} \approx 21.4\) руб.
«Значимость \(F\)» \(\approx 10^{-5}\): гипотеза «расстояние вообще не влияет на цену» (\(\theta_1 = 0\)) с треском отвергается – ожидаемо. Заметьте: при \(k = 1\) этот \(F\)-тест эквивалентен \(t\)-тесту единственного коэффициента, и действительно \(F = 286.25 = 16.92^2 = t_1^2\), а \(p\)-значения совпадают.
По строкам коэффициентов: оба значимо отличны от нуля. Доверительный интервал посадки \((65.3, \; 151.2)\) накрывает заявленные \(100\) руб., интервал цены километра \((27.2, \; 36.9)\) накрывает заявленные \(30\) руб./км. Т.е. покоэффициентно претензий к тарифу нет.
Сравним с примером Пример 2, где совместная гипотеза \((a, b) = (100, 30)\) дала \(p \approx 6.2\%\) – гораздо ближе к границе. Противоречия нет: совместный \(F\)-критерий смотрит на пару параметров сразу (его «доверительная область» – эллипс в плоскости \((a,b)\), учитывающий отрицательную коррелированность оценок \(\widehat{a}\) и \(\widehat{b}\)), и точка \((100, 30)\) лежит близко к границе этого эллипса, хотя в прямоугольник из двух отдельных интервалов попадает свободно. Обратный эффект мы видели в задаче Задача 7 про кубическую регрессию: там каждый коэффициент по \(t\)-тесту незначим (мультиколлинеарность раздувает стандартные ошибки), а совместный \(F\)-тест эффект видит. Мораль: покоэффициентные \(t\)-тесты и совместный \(F\)-тест отвечают на разные вопросы, и подменять один другим нельзя.
3.10 Сводка
Соберем словарик раздела в одну таблицу (\(s^2\), \(s_i^2\), \(s_D^2\) – несмещенные выборочные дисперсии, \(s_p^2\) – объединенная дисперсия, \(\widehat{\sigma^2} = \operatorname {RSS}/(n - \tilde{k})\)):
| Тест | \(H_0\) | Статистика | Распр. при\(H_0\) |
|---|---|---|---|
| Одновыборочный\(t\) | \(\theta = \theta _0\) | \(\dfrac {\samplemean {X} - \theta _0}{\sqrt{s^2/n}}\) | \(T_{n-1}\) |
| [2ex] Парный\(t\) | \(\delta = \delta _0\) | \(\dfrac {\samplemean {D} - \delta _0}{\sqrt{s_D^2/n}}\) | \(T_{n-1}\) |
| [2ex] Двухвыборочный\(t\) (один. дисп.) | \(a_1 - a_2 = \delta _0\) | \(\dfrac {\samplemean {X^{(1)}} - \samplemean {X^{(2)}} - \delta _0}{s_p\sqrt{1/n_1 + 1/n_2}}\) | \(T_{n_1 + n_2 - 2}\) |
| [2ex] Двухвыборочный\(t\) Уэлча | \(a_1 - a_2 = \delta _0\) | \(\dfrac {\samplemean {X^{(1)}} - \samplemean {X^{(2)}} - \delta _0}{\sqrt{s_1^2/n_1 + s_2^2/n_2}}\) | \(\approx T_{\nu }\) |
| [2ex]\(z\)-тест (дисперсии известны) | \(a_1 - a_2 = \delta _0\) | \(\dfrac {\samplemean {X^{(1)}} - \samplemean {X^{(2)}} - \delta _0}{\sqrt{\sigma _1^2/n_1 + \sigma _2^2/n_2}}\) | \(\NormalDistribution {0}{1}\) |
| [2ex]\(F\)-тест для дисперсий | \(\sigma _1^2 = \sigma _2^2\) | \(s_1^2/s_2^2\) | \(\operatorname {F}_{n_1 - 1, n_2 - 1}\) |
| [2ex] Однофакторный дисп. анализ | \(\mu _1 = \ldots = \mu _k\) | \(\dfrac {\operatorname {SS}_{\text{Tr}}/(k-1)}{\operatorname {SS}_{E}/(N-k)}\) | \(\operatorname {F}_{k-1, N-k}\) |
| [2ex] Двухфакторный дисп. анализ | нет эффекта фактора | \(\operatorname {MS}_{\text{фактора}}/\operatorname {MS}_{E}\) | \(\operatorname {F}\) |
| [2ex] Регрессия:\(t\) коэффициента | \(\theta _j = 0\) | \(\estim {\theta }_j / \sqrt{a_{j,j}\estim {\sigma ^2}}\) | \(T_{n - \tilde{k}}\) |
| [2ex] Регрессия:\(F\) значимости | \(\theta _1 = \ldots = \theta _k = 0\) | \(\dfrac {\operatorname {ESS}/k}{\operatorname {RSS}/(n-k-1)}\) | \(\operatorname {F}_{k, n-k-1}\) |
| [1ex] |
Те же тесты под теми же именами живут во всех статистических пакетах: в python это scipy.stats.ttest_1samp, ttest_rel (парный), ttest_ind (двухвыборочный; флаг equal_var переключает объединенную дисперсию/Уэлча), f_oneway (однофакторный дисп. анализ) и statsmodels OLS (полная выдача регрессии), в R – t.test, var.test, aov, lm/summary.