Этот конспект ещё находится в процессе редактуры: в тексте могут встречаться опечатки, неточности и локально не проработанные места. Если что-то нашли — сообщите, пожалуйста, автору (контакты на странице курса).
Пусть \(\overrightarrow {X} = \left(X_{1}, \ldots , X_{n}\right)^T\) и \(\overrightarrow {Y}=\left(Y_{1}, \ldots , Y_{n}\right)^T\) – две парные выборки из одномерных распределений. Т.е. у нас имеется выборка из 2-мерного распределения \(\operatorname {Law}\left(X_1, Y_1\right)\):
\[
\begin{pmatrix} \overrightarrow {X} & \overrightarrow {Y} \end{pmatrix} = \begin{pmatrix} X_1 & Y_1 \\ X_2 & Y_2 \\ \vdots & \vdots \\ X_n & Y_n \end{pmatrix}
\]
Нас будет интересовать, являются ли \(\overrightarrow {X}\), \(\overrightarrow {Y}\) выборками из независимых распределений: \(\operatorname {Law}\left(X_1, Y_1\right) = \operatorname {Law}\left(X_1\right)\cdot \operatorname {Law}\left(Y_1\right)\). Иными словами, выдвигается гипотеза
\[
H_{0}: F_{X, Y}(s, t)=F_{X}(s) F_{Y}(t) \text{ для всех } s, t,
\]
где \(F_{X}\) – функция распределения \(X_{1}, F_{Y}\) – функция распределения \(Y_{1}\), а \(F_{X, Y}\) – функция распределения вектора \(\left(X_{1}, Y_{1}\right)\). Альтернативой к гипотезе \(H_{0}\) выступает гипотеза \(H_{1}\) о зависимости выборок \(\overrightarrow {X}\) и \(\overrightarrow {Y}\), т.е.
\[
H_{1}: F_{X, Y}(s, t) \neq F_{X}(s) F_{Y}(t) \text{ для некоторых } s, t .
\]
Проверить свойство независимости в общем случае проблематично, потому что оно должно быть выполнено для всех пар \(s, t\), гораздо проще убедиться в том, что выборки являются зависимыми через коэффициент корреляции. Напомним, что если у \(X_1\) и у \(Y_1\) конечные вторые моменты, то
\[
\operatorname {Corr}\left[ X_1, Y_1 \right] = \frac{\operatorname {Cov}\left[ X_1, Y_1 \right]}{\sqrt{\operatorname {Var}\left[X_1\right]} \sqrt{\operatorname {Var}\left[Y_1\right]}}.
\]
По неравенству КБШ, \(\left|\operatorname {Corr}\left[ X_1, Y_1 \right]\right| \leq 1\), причем если \(X_1\), \(Y_1\) независимы, то \(\operatorname {Corr}\left[ X_1, Y_1 \right] = 0\).
В случае выборок из неизвестных распределений истинный коэффициент корреляции \(\operatorname {Corr}\left[ X_1, Y_1 \right]\) посчитать невозможно. Вместо этого используются выборочные коэффициенты корреляции. Общее правило принятия решения в нашей задаче выглядит так: если коэффициент корреляции достаточно далеко отстоит от нуля, то отвергаем гипотезу о независимости.
Корреляционный анализ (а именно, анализ зависимостей между наблюдениями) играет важную роль в задачах регрессии, а также в теории временных рядов, в частности, анализе стационарных последовательностей и авторегрессионных моделей.
Определение 1 Для парной выборки \(\left(\overrightarrow {X} \; \overrightarrow {Y}\right)\) статистика \(\widehat{r}\) называется выборочным коэффициентом корреляции, если
\(\left|r\right| \leq 1\), причем значения \(1, -1\) могут быть статистикой \(\widehat{r}\) достигнуты;
При верной гипотезе \(H_0\) о независимости распределений выборок имеем
\[
\mathbb {E}\left[\widehat{r}\right] = 0, \qquad \operatorname {Var}\left[\widehat{r}\right] \xrightarrow [n \to \infty ]{} 0.
\]
Заметим, что при выполнении прочих условий условие \(\operatorname {Var}\left[\widehat{r}\right] \xrightarrow [n \to \infty ]{} 0\) эквивалентно \(\widehat{r} \xrightarrow [n \to \infty ]{\mathbb {P}, d} 0\).
В данной главе мы рассмотрим три самых используемых выборочных коэффициента корреляции: коэффициенты корреляции Пирсона, Спирмэна и Кэндалла.
Коэффициент корреляции Пирсона
Определение, свойства
Пусть \(X_{1}, \ldots , X_{n}\) и \(Y_{1}, \ldots , Y_{n}\) – две выборки с конечными вторыми моментами: \(\mathbb {E}\left[X_1^2\right], \mathbb {E}\left[Y_1^2\right] < \infty\). Для оценки корреляции требуется оценить дисперсии \(\sigma_X^2\), \(\sigma_Y^2\) каждой выборки, а также их ковариацию. Оценки для дисперсий мы строили еще в первой главе:
\[
\widehat{\sigma _X^2} = s^2_X = \overline{\overrightarrow {X}^2} - \overline{\overrightarrow {X}}^2 = \frac{1}{n}\sum _{i=1}^n\left(X_i - \overline{\overrightarrow {X}}\right)^2, \qquad \widehat{\sigma _Y^2} = s^2_Y = \overline{\overrightarrow {Y}^2} - \overline{\overrightarrow {Y}}^2 = \frac{1}{n}\sum _{i=1}^n\left(Y_i - \overline{\overrightarrow {Y}}\right)^2
\]
Оценим ковариацию. Напомним, что
\[
\operatorname {Cov}\left[ X_1, Y_1 \right] = \mathbb {E}\left[\left(X_1 - \mathbb {E}\left[X_1\right]\right)\left(Y_1 - \mathbb {E}\left[Y_1\right]\right)\right].
\]
По аналогии с дисперсией ковариацию можно оценить так:
\[
\widehat{\operatorname {Cov}\left[ X_1, Y_1 \right]} = \frac{1}{n}\sum _{i=1}^n\left(X_i - \overline{\overrightarrow {X}}\right)\left(Y_i - \overline{\overrightarrow {Y}}\right)
\]
Докажите, что \[
\widehat{\operatorname {Cov}\left[ X_1, Y_1 \right]} = \frac{1}{n}\sum _{i=1}^nX_iY_i - \left(\frac{1}{n}\sum _{i=1}^n X_i\right) \cdot \left(\frac{1}{n}\sum _{i=1}^n Y_i\right) = \overline{\overrightarrow {X}\overrightarrow {Y}} - \overline{\overrightarrow {X}} \; \overline{\overrightarrow {Y}}
\]
Определение 2 Коэффициентом корреляции Пирсона или обычным (выборочным) коэффициентом корреляции называется следующая статистика: \[
\widehat{\rho }(\overrightarrow {X}, \overrightarrow {Y}) := \frac{\widehat{\operatorname {Cov}\left[ X_1, Y_1 \right]}}{\sqrt{\widehat{\sigma _X^2}}\sqrt{\widehat{\sigma _Y^2}}} = \frac{\sum _{i=1}^{n}\left(X_{i}-\overline{\overrightarrow {X}}\right)\left(Y_{i}-\overline{\overrightarrow {Y}}\right)}{\sqrt{\sum _{i=1}^{n}\left(X_{i}-\overline{\overrightarrow {X}}\right)^{2} \sum _{i=1}^{n}\left(Y_{i}-\overline{\overrightarrow {Y}}\right)^{2}}}.
\] Полезны еще две эквивалентные записи. Геометрическая – косинус угла между центрированными выборками: \[
\widehat{\rho }(\overrightarrow {X}, \overrightarrow {Y}) = \frac{\left\langle \overrightarrow {X} - \overline{\overrightarrow {X}}\cdot \overrightarrow {1}, \overrightarrow {Y} - \overline{\overrightarrow {Y}}\cdot \overrightarrow {1} \right\rangle }{\left\| \overrightarrow {X} - \overline{\overrightarrow {X}}\cdot \overrightarrow {1}\right\| \left\| \overrightarrow {Y} - \overline{\overrightarrow {Y}}\cdot \overrightarrow {1}\right\| },
\] и запись через выборочные средние: \[
\widehat{\rho }(\overrightarrow {X}, \overrightarrow {Y}) = \frac{\overline{\overrightarrow {X}\overrightarrow {Y}} - \overline{\overrightarrow {X}} \; \overline{\overrightarrow {Y}}}{\sqrt{\overline{\overrightarrow {X}^2} - \overline{\overrightarrow {X}}^2}\sqrt{\overline{\overrightarrow {Y}^2} - \overline{\overrightarrow {Y}}^2}}.
\]
Диаграммы рассеяния для 7 выборок с разным коэффициентом корреляции Пирсона \(r\): от точной положительной (\(r=1\)) до точной отрицательной (\(r=-1\)) линейной связи, через полное отсутствие связи (\(r=0\)).
Коэффициент Пирсона для выборок из линейно зависимых величин вида \((X_1, Y_1)\): \(X_1 \overset{\text{п.н.}}{=} \theta_0 + \theta_1 Y_1\). Коэффициент равен \(1\), если \(\theta_1 > 0\), равен \(-1\), если \(\theta_1 < 0\), и не определён, если \(\theta_1 = 0\) (тогда \(\operatorname{Var}[X_1]=0\)).
Теорема 1 Выборочная корреляция Пирсона сходится к истинной: \[
\widehat{\rho } \xrightarrow [n \to \infty ]{\mathbb {P}} \operatorname {Corr}\left[ X_1, Y_1 \right]
\]
Доказать свойство \(\widehat{\rho } \xrightarrow [n \to \infty ]{\mathbb {P}} \operatorname {Corr}\left[ X_1, Y_1 \right]\) коэффициента корреляции Пирсона.
Решение состоит в последовательном применении усиленного закона больших чисел (для независимых одинаково распределенных случайных величин с конечным математическим ожиданием) и теоремы о наследовании сходимостей.
По усиленному закону больших чисел,
\[
\frac{1}{n}\sum _{i=1}^n \left(X_i - \mathbb {E}\left[X_i\right]\right)\left(Y_i - \mathbb {E}\left[Y_i\right]\right) \xrightarrow [n\to \infty ]{\mathbb {P}} \mathbb {E}\left[\left(X_1-\mathbb {E}\left[X_1\right]\right)\left(Y_1 - \mathbb {E}\left[Y_1\right]\right)\right]
\]
а также \(\overline{\overrightarrow {X}} \stackrel{\mathrm{P}}{\rightarrow } \mathrm{E} X_{1}\) и \(\overline{\overrightarrow {Y}} \stackrel{\mathrm{P}}{\rightarrow } \mathrm{E} Y_{1}\) (разумеется, верны даже сходимости почти наверное). Следовательно, справедлива и сходимость векторов \((\overline{\overrightarrow {X}}, \overline{\overrightarrow {Y}}) \stackrel{\mathrm{P}}{\rightarrow } \left(\mathbb {E}\left[X_1\right], \mathbb {E}\left[Y_1\right]\right)\). Поэтому по теореме о наследовании сходимостей
\[
\overline{\overrightarrow {X}}\, \mathbb {E}\left[Y_1\right] - \mathbb {E}\left[X_1\right]\mathbb {E}\left[Y_1\right] + \overline{\overrightarrow {Y}}\, \mathbb {E}\left[X_1\right]-\overline{\overrightarrow {X}}\cdot \overline{\overrightarrow {Y}} \xrightarrow [n\to \infty ]{\mathbb {P}} 0,
\]
а прямое раскрытие скобок показывает, что это выражение в точности равно разности
\[
\frac{1}{n}\sum _{i=1}^{n}\left(X_{i}-\overline{\overrightarrow {X}}\right)\left(Y_{i}-\overline{\overrightarrow {Y}}\right) - \frac{1}{n}\sum _{i=1}^{n}\left(X_{i}-\mathrm{E} X_{i}\right)\left(Y_{i}-\mathrm{E} Y_{i}\right).
\]
Отсюда,
\[
\frac{1}{n} \sum _{i=1}^{n}\left(X_{i}-\overline{\overrightarrow {X}}\right)\left(Y_{i}-\overline{\overrightarrow {Y}}\right) \stackrel{\mathrm{P}}{\rightarrow } \mathrm{E}\left(X_{1}-\mathrm{E} X_{1}\right)\left(Y_{1}-\mathrm{E} Y_{1}\right)=\operatorname {cov}\left(X_{1}, Y_{1}\right) .
\]
Как мы доказывали в предыдущих главах, выборочная дисперсия \(s_{X}^{2}=\frac{1}{n} \sum_{i=1}^{n}\left(X_{i}-\overline{\overrightarrow {X}}\right)^{2}\) является состоятельной оценкой \(\mathrm{D} X_{1}\), аналогичное утверждение верно и для выборки \(Y_{1}, \ldots , Y_{n}\). Тогда по теореме о наследовании сходимостей,
\[
\widehat{\rho }=\frac{\sum _{i=1}^{n}\left(X_{i}-\overline{\overrightarrow {X}}\right)\left(Y_{i}-\overline{\overrightarrow {Y}}\right)}{\sqrt{\sum _{i=1}^{n}\left(X_{i}-\overline{\overrightarrow {X}}\right)^{2} \sum _{i=1}^{n}\left(Y_{i}-\overline{\overrightarrow {Y}}\right)^{2}}} \stackrel{\mathrm{P}}{\longrightarrow } \frac{\operatorname {cov}\left(X_{1}, Y_{1}\right)}{\sqrt{\mathrm{D} X_{1} \mathrm{D} Y_{1}}}
\]
Теорема 2 Коэффициент Пирсона – действительно выборочный коэфф. корреляции согласно определению Определение 1.
Докажите первое свойство из опр. Определение 1 для коэффициента Пирсона.
Теорема 3 (Связь с линейной регрессией) Если у нас имеется линейная регрессионная модель со свободным членом
\[
\overrightarrow {X} = \mathbf{Z}\overrightarrow {\theta } + \overrightarrow {\varepsilon }, \qquad \overrightarrow {Z}_{\cdot 0} = \overrightarrow {1}, \quad \dim (\mathbf{Z}) = n \times (k+1), \quad \dim (\overrightarrow {\theta }) = k + 1,
\]
то ее коэффициент детерминации равен квадрату выборочной корреляции между зависимой переменной \(\overrightarrow {X}\) и моделью \(\widehat{\overrightarrow {X}}\):
\[
R^2 = \widehat{\rho }^2\left(\overrightarrow {X}, \widehat{\overrightarrow {X}}\right)
\]
Более того, если \(k=1\), т.е. у нас имеется линейная регрессионная модель со свободным членом и одним регрессором \(\overrightarrow {Y}:= \overrightarrow {Z}_{\cdot 1}\):
\[
\overrightarrow {X} = \theta _0 \cdot \overrightarrow {1} + \theta _1 \overrightarrow {Y} + \overrightarrow {\varepsilon },
\]
то коэффициент детерминации равен квадрату выб. корреляции между зависимой переменной и регрессором:
\[
R^2 = \widehat{\rho }^2\left(\overrightarrow {X}, \overrightarrow {Y}\right). \qquad \text{При этом } \widehat{\theta }_1 = \widehat{\rho }\sqrt{\frac{\widehat{\sigma _X^2}}{\widehat{\sigma _Y^2}}}.
\]
Доказать теорему.
Напомним, что если в регрессии есть свободный параметр, то коэфф. детерминации определяется как
\[
R^2 = \frac{\operatorname {ESS}}{\operatorname {TSS}} = \frac{\left\| \widehat{\overrightarrow {X}} - \overline{\overrightarrow {X}}\cdot \overrightarrow {1}\right\| ^2}{\left\| \overrightarrow {X} - \overline{\overrightarrow {X}}\cdot \overrightarrow {1}\right\| ^2} = \cos ^2(\varphi )
\]
где \(\varphi\) – угол между векторами \(\overrightarrow {X} - \overline{\overrightarrow {X}} \cdot \overrightarrow {1}\) и \(\widehat{\overrightarrow {X}} - \overline{\overrightarrow {X}} \cdot \overrightarrow {1}\). Несложно доказать, что \(\overline{\widehat{\overrightarrow {X}}} = \overline{\overrightarrow {X}}\). Имеем
\[
\cos (\varphi ) = \frac{\left\langle \overrightarrow {X} - \overline{\overrightarrow {X}} \cdot \overrightarrow {1}, \widehat{\overrightarrow {X}} - \overline{\overrightarrow {X}} \cdot \overrightarrow {1} \right\rangle }{\left\| \overrightarrow {X} - \overline{\overrightarrow {X}} \cdot \overrightarrow {1}\right\| \left\| \widehat{\overrightarrow {X}} - \overline{\overrightarrow {X}} \cdot \overrightarrow {1}\right\| },
\]
и, заменяя во вторых аргументах \(\overline{\overrightarrow {X}}\) на равное ему \(\overline{\widehat{\overrightarrow {X}}}\), узнаем определение коэфф. корреляции Пирсона:
\[
\cos (\varphi ) = \frac{\left\langle \overrightarrow {X} - \overline{\overrightarrow {X}} \cdot \overrightarrow {1}, \widehat{\overrightarrow {X}} - \overline{\widehat{\overrightarrow {X}}} \cdot \overrightarrow {1} \right\rangle }{\left\| \overrightarrow {X} - \overline{\overrightarrow {X}} \cdot \overrightarrow {1}\right\| \left\| \widehat{\overrightarrow {X}} - \overline{\widehat{\overrightarrow {X}}} \cdot \overrightarrow {1}\right\| } = \widehat{\rho }(\overrightarrow {X}, \widehat{\overrightarrow {X}}).
\]
Далее, пусть теперь \(k=1\). Докажем, что в этом случае векторы \(\widehat{\overrightarrow {X}} - \overline{\overrightarrow {X}}\cdot \overrightarrow {1}\) и \(\overrightarrow {Y} - \overline{\overrightarrow {Y}}\cdot \overrightarrow {1}\) коллинеарны – это даст требуемый результат, поскольку обе части доказываемого равенства не зависят от знака косинуса. Имеем \(\dim (L) = 2\), где \(L = \operatorname {span}(\overrightarrow {1}, \overrightarrow {Y})\), причем оба рассматриваемых вектора лежат в \(L\) и перпендикулярны \(\overrightarrow {1}\). Следовательно, они коллинеарны (сонаправлены при \(\widehat{\theta }_1 > 0\) и противонаправлены при \(\widehat{\theta }_1 < 0\)).
Далее, \(\mathbf{Z} = \left(\overrightarrow {1} \; \overrightarrow {Y}\right)\),
\[
\begin{align} \mathbf{Z}^T & = \begin{pmatrix} 1 & 1 & \ldots & 1 \\ Y_1 & Y_2 & \ldots & Y_n \end{pmatrix}, \quad \left(\mathbf{Z}^T \mathbf{Z}\right) = \begin{pmatrix} n & n\overline{\overrightarrow {Y}} \\ n \overline{\overrightarrow {Y}} & n\overline{\overrightarrow {Y}^2} \end{pmatrix}, \quad \left(\mathbf{Z}^T \mathbf{Z}\right)^{-1} = \frac{1}{n^2\overline{\overrightarrow {Y}^2} - n^2\overline{\overrightarrow {Y}}^2}\begin{pmatrix} n\overline{\overrightarrow {Y}^2} & -n\overline{\overrightarrow {Y}} \\ -n \overline{\overrightarrow {Y}} & n \end{pmatrix} \\ \widehat{\overrightarrow {\theta }} & = \left(\mathbf{Z}^T \mathbf{Z}\right)^{-1} \mathbf{Z}^T \overrightarrow {X} = \frac{1}{n^2\overline{\overrightarrow {Y}^2} - n^2\overline{\overrightarrow {Y}}^2}\begin{pmatrix} n\overline{\overrightarrow {Y}^2} & -n\overline{\overrightarrow {Y}} \\ -n \overline{\overrightarrow {Y}} & n \end{pmatrix} \begin{pmatrix} n\overline{\overrightarrow {X}} \\ n\overline{\overrightarrow {X}\overrightarrow {Y}} \end{pmatrix} = \frac{1}{n^2\overline{\overrightarrow {Y}^2} - n^2\overline{\overrightarrow {Y}}^2}\begin{pmatrix} n^2\overline{\overrightarrow {X}}\; \overline{\overrightarrow {Y}^2} - n^2\overline{\overrightarrow {X}\overrightarrow {Y}}\; \overline{\overrightarrow {Y}} \\ -n^2\overline{\overrightarrow {X}}\; \overline{\overrightarrow {Y}} + n^2\overline{\overrightarrow {X}\overrightarrow {Y}} \end{pmatrix} = \\ & = \frac{1}{\overline{\overrightarrow {Y}^2} - \overline{\overrightarrow {Y}}^2}\begin{pmatrix} \overline{\overrightarrow {X}}\; \overline{\overrightarrow {Y}^2} - \overline{\overrightarrow {X}\overrightarrow {Y}}\; \overline{\overrightarrow {Y}} \\ \overline{\overrightarrow {X}\overrightarrow {Y}} - \overline{\overrightarrow {X}} \cdot \overline{\overrightarrow {Y}} \end{pmatrix} \\ \widehat{\theta }_1 & = \frac{\overline{\overrightarrow {X}\overrightarrow {Y}} - \overline{\overrightarrow {X}} \cdot \overline{\overrightarrow {Y}} }{\overline{\overrightarrow {Y}^2} - \overline{\overrightarrow {Y}}^2} = \frac{\overline{\overrightarrow {X}\overrightarrow {Y}} - \overline{\overrightarrow {X}} \cdot \overline{\overrightarrow {Y}}}{\sqrt{\overline{\overrightarrow {Y}^2} - \overline{\overrightarrow {Y}}^2}\sqrt{\overline{\overrightarrow {X}^2} - \overline{\overrightarrow {X}}^2}} \cdot \sqrt{\frac{\overline{\overrightarrow {X}^2} - \overline{\overrightarrow {X}}^2}{\overline{\overrightarrow {Y}^2} - \overline{\overrightarrow {Y}}^2}} \end{align}
\]
Геометрическая интерпретация МНК с одним регрессором: вектор \(X\) проецируется на плоскость \(\operatorname{span}(\vec 1, Y)\); проекция \(\widehat X = X_L = \widehat\theta_0\vec 1 + \widehat\theta_1 Y\) — ближайшая к \(X\) точка этой плоскости, а невязка \(\widehat{\vect\varepsilon} = X - X_L\) ей ортогональна. Числовой пример: \(n=3\), \(Y=(1,2,4)\), \(X=(2.2,3.6,6.4)\). Интерактивная 3D-модель на geogebra.org: ссылка.
Гауссовские выборки
Пусть \((\overrightarrow {X}, \overrightarrow {Y})\) – выборка из 2-мерного нормального распределения:
\[
\begin{pmatrix} X_1 & Y_1 \end{pmatrix} \sim \mathscr {N}\left(\begin{pmatrix} \mu _X\\ \mu _Y \end{pmatrix}, \begin{pmatrix} \sigma _X^2 & \rho \cdot \sigma _X \sigma _Y \\ \rho \cdot \sigma _X \sigma _Y & \sigma _Y^2 \\ \end{pmatrix}\right),
\]
где \(\rho := \operatorname {Corr}\left[ X_1, Y_1 \right]\). Поскольку мы работаем с выборкой из 2-мерного гауссовского распределения, независимость компонент равносильна их некоррелированности, т.е. \(H_0 \iff \rho = 0\).
В данном случае для тестирования гипотезы о независимости существует точный критерий, т.е. такой критерий, в котором распределение статистики известно.
Теорема 4 Если гипотеза \(H_0\) о независимости \(X_1, Y_1\) верна, то \[
T=\frac{\hat{\rho } \sqrt{n-2}}{\sqrt{1-\hat{\rho }^{2}}} \sim T_{n-2}
\]
Критерий уровня значимости \(\alpha\) для проверки гипотезы \(H_{0}\) для нормальных выборок выглядит так: если \(T \notin \left(Q_{t_{n-2}}(\frac{\alpha }{2}), Q_{t_{n-2}}(1 - \frac{\alpha }{2})\right)\), где \(Q_{t_{n-2}}(\cdot )\) – квантильная функция для распределения Стьюдента с \(n-2\) степенями свободы, то отвергаем гипотезу \(H_{0}\) о независимости.
Коэффициент корреляции Пирсона для 7 выборок из 2-мерных гауссовских распределений с разными \(\rho\). Коэффициент Пирсона особенно эффективен в выявлении зависимости именно для выборок из 2-мерного нормального распределения.
Докажите теорему Теорема 4.
Распределение Стьюдента нам встречалось в главе, посвященной гауссовской линейной регрессии. Составим из \((\overrightarrow {X}, \overrightarrow {Y})\) линейную регрессионную модель
\[
X_i = \theta _0 + \theta _1 Y_i + \varepsilon _i, \quad i = \overline{1,n}
\]
Добъемся того, чтобы \(\varepsilon_i\) не зависело от \(Y_1\). Поскольку речь идет о компонентах гауссовского вектора, достаточно добиться того, чтобы они были некоррелированы. Имеем
\[
0 = \operatorname {Cov}\left[ Y_1, \varepsilon _1 \right] = \operatorname {Cov}\left[ Y_1, X_1 - \theta _0 - \theta _1 Y_1 \right] = \rho \cdot \sigma _X \sigma _Y - \theta _1 \sigma ^2_Y \; \Rightarrow \; \theta _1 = \rho \frac{\sigma _X}{\sigma _Y}
\]
Далее, требуется, чтобы \(\mathbb {E}\left[\varepsilon_i\right] = 0\). Имеем
\[
0 = \mathbb {E}\left[\varepsilon _i\right] = \mathbb {E}\left[X_i - \theta _0 - \theta _1 Y_i\right] = \mu _X - \theta _0 - \theta _1 \mu _Y \; \Rightarrow \; \theta _0 = \mu _X - \theta _1\mu _Y = \mu _X - \rho \frac{\sigma _X}{\sigma _Y}\mu _Y
\]
Найдем дисперсию \(\sigma^2\) получившейся ошибки. Подставим \(\theta_1 = \rho \sigma_X/\sigma_Y\):
\[
\begin{align} \sigma ^2 & = \operatorname {Var}\left[\varepsilon _i\right] = \operatorname {Var}\left[X_1 - \theta _0 - \theta _1Y_1\right] = \sigma _X^2 - 2\theta _1 \rho \sigma _X \cdot \sigma _Y + \theta _1^2\sigma _Y^2 = \\ & = \sigma _X^2 - 2\rho \frac{\sigma _X}{\sigma _Y} \cdot \rho \sigma _X \sigma _Y + \rho ^2\frac{\sigma _X^2}{\sigma _Y^2}\sigma _Y^2 = \sigma _X^2 - 2 \rho ^2 \sigma ^2_X + \rho ^2 \sigma _X^2 = \sigma _X^2 \left(1 - \rho ^2\right) \end{align}
\]
Для указанной модели найдем сперва входящие в статистику \(T_{n-2}\) вспомогательные величины. Элемент \(a_{1,1}\) матрицы \(\left(\mathbf{Z}^T\mathbf{Z}\right)^{-1}\), отвечающий за \(\theta_1\) (см. вычисление выше):
\[
a_{1,1} = \frac{n}{n^2\overline{\overrightarrow {Y}^2} - n^2\overline{\overrightarrow {Y}}^2} = \frac{1}{n \widehat{\sigma _Y^2}}.
\]
Далее, поскольку регрессионная модель содержит \(k=1\) регрессор и свободный член:
\[
\begin{align} \operatorname {TSS} & = \sum _{i=1}^n\left(X_i - \overline{\overrightarrow {X}}\right)^2 = n\widehat{\sigma ^2_X}, \\ (n-2)\widehat{\sigma ^2} & = \operatorname {RSS} = \operatorname {TSS} - \operatorname {ESS} = \operatorname {TSS}\left(1 - R^2\right) = \operatorname {TSS}\left(1 - \widehat{\rho }^2\right). \end{align}
\]
Подставим найденное в статистику:
\[
\begin{align} T_{n - 2} & \sim \frac{\widehat{\theta }_1}{\sqrt{a_{1,1} \widehat{\sigma ^2}}} = \widehat{\rho } \sqrt{\frac{\widehat{\sigma _X^2}}{\widehat{\sigma _Y^2}}}\frac{1}{\sqrt{a_{1,1} \widehat{\sigma ^2}}} = \widehat{\rho } \sqrt{\frac{\widehat{\sigma _X^2}}{\widehat{\sigma _Y^2}}}\frac{\sqrt{n\widehat{\sigma _Y^2}} \sqrt{n-2}}{\sqrt{\operatorname {TSS}(1 - \widehat{\rho }^2)}} = \\ & = \widehat{\rho } \sqrt{\frac{\widehat{\sigma _X^2}}{\widehat{\sigma _Y^2}}}\frac{\sqrt{n\widehat{\sigma _Y^2}} \sqrt{n-2}}{\sqrt{n\widehat{\sigma _X^2}(1 - \widehat{\rho }^2)}} = \frac{\widehat{\rho } \sqrt{n-2}}{\sqrt{1 - \widehat{\rho }^2}} \end{align}
\]
Недостатки
Вследствие того, что для нормальных выборок некоррелированность эквивалентна независимости, коэффициент корреляции Пирсона наиболее подходит для работы с нормальными выборками. Но, к сожалению, как и в случае многих параметрических методов, использование этого коэффициента корреляции приводит к получению неадекватных значений статистики (что означает неверность принимаемых статистических решений), так как коэффициент корреляции не является устойчивым к выбросам (при наличии в выборке далеко отстоящих данных, связанных, например, с ошибками измерений). Широко известен пример (так называемый “квартет Энскомба”), демонстрирующий, насколько подобные методы обработки статистических данных способны “врать”, даже если выброс всего один на 10 “обычных” результатов.
Квартет Энскомба (F. Anscombe, 1973): во всех четырёх наборах коэффициент корреляции Пирсона равен \(0.816\), и линия регрессии одна и та же — однако диаграммы рассеяния совершенно различны. Набор I — обычный линейный случай, где коэффициент Пирсона работает адекватно. Набор II показывает, что коэффициент Пирсона плохо выявляет нелинейные зависимости. Наборы III и IV показывают, что он слишком чувствителен к выбросам.
Коэффициент корреляции Пирсона оценивает степень линейной зависимости между переменными. Он может быть близок к нулю, даже если зависимость между \(X_1\) и \(Y_1\) есть — просто она нелинейная (и, как правило, симметричная).
Ранговые коэффициенты корреляции
Ранги выборки
Пусть имеется выборка \(X_{1}, \ldots , X_{n}\) из некоторого непрерывного распределения, т.е. элементы выборки не совпадают п.н. Упорядочим элементы выборки по возрастанию, т.е. построим вариационный ряд выборки.
Определение 3 Номера, которые получили элементы выборки при таком упорядочивании, называются их рангами. Обозначение: \(\overrightarrow {R}^X\).
Проставьте ранги для реализации выборки из 10 элементов в эксперименте \(\omega_0\): \[
\overrightarrow {X}(\omega _0) = \overrightarrow {x}_0 = \left(9.356, \frac{29}{5}, 2\pi , 3e, \frac{11}{2}, 5\sqrt{2}, 7\sin (1), 8.78, 4.51, \frac{e^\pi }{4}\right)^T
\]
Имеем \[
\begin{align} \overrightarrow {X}(\omega _0) & = \left(9.356, \frac{29}{5}, 2\pi , 3e, \frac{11}{2}, 5\sqrt{2}, 7\sin (1), 8.78, 4.51, \frac{e^\pi }{4}\right) \approx \\ & \approx \left(9.356, 5.800 , 6.283 , 8.155, 5.500 , 7.071 , 5.890 , 8.780, 4.510, 5.785\right), \\ \overrightarrow {R}^X(\omega _0) & = \left(\; \; 10, \hspace*{6mm} 4, \hspace*{6mm} 6, \hspace*{6mm} 8, \hspace*{6mm} 2, \hspace*{6mm} 7, \hspace*{6mm} 5, \hspace*{6mm} 9, \hspace*{6mm} 1, \hspace*{6mm} 3 \quad \right) \end{align}
\]
Основное свойство рангов:
\[
\mathbb {P}\left(R^X_1 = r_1, \ldots , R^X_n = r_n\right) = \frac{1}{n !},
\]
где \(\left(r_{1}, \ldots , r_{n}\right)\) – произвольная перестановка чисел \((1, \ldots , n)\), поскольку для любых \(i<j\) выполнено \(\mathbb {P}\left(X_i > X_j\right) = \mathbb {P}\left(X_j > X_i\right)\), так как компоненты выборки независимы и одинаково распределены. Распределение рангов не зависит от распределения выборки.
Покажите, что
\(\overline{R^X} = \frac{n+1}{2}, \quad \overline{(R^X)^2} = \frac{(n+1)(2n+1)}{6}\);
\(\mathbb {E}\left[R^X_i\right] = \frac{n+1}{2}, \; \forall i = \overline{1,n}\);
\(\mathbb {E}\left[(R^X_i)^2\right] = \frac{(n+1)(2n+1)}{6}, \; \forall i = \overline{1,n}\);
\(\operatorname {Var}\left[R^X_i\right] = \frac{n^2 - 1}{12}, \; \forall i = \overline{1,n}\);
\(\mathbb {E}\left[R^X_i \cdot R^X_j\right] = \frac{(n+1)(3n+2)}{12} , \; \forall i \neq j\);
\(\operatorname {Cov}\left[ R^X_i, R^X_j \right] = -\frac{n+1}{12}, \; \forall i \neq j\).
Примечание. Обратите внимание, что все перечисленные в задаче характеристики рангов не зависят от самого распределения \(\operatorname {Law}\left(X_1\right)\), из которого черпалась выборка.
Коэффициент корреляции Спирмэна
Определение
Рассмотрим теперь, как и ранее, две выборки \(X_{1}, \ldots , X_{n}\) с функцией распределения \(F_{X}\) и \(Y_{1}, \ldots , Y_{n}\) с функцией распределения \(F_{Y}\).
Используя результаты задачи Задача 3, имеем
\[
\begin{align} \overline{(R^X)^2} - \overline{R^X}^2 & = \frac{(n+1)(2n+1)}{6} - \frac{(n+1)^2}{4} = \frac{n^2-1}{12} \\ \rho _S & = \frac{12}{(n-1)(n+1)} \left(\overline{R^X R^Y} - \frac{(n+1)^2}{4}\right) = \\ & = \frac{12}{n(n-1)(n+1)} \left(\left\langle \overrightarrow {R}^X, \overrightarrow {R}^Y \right\rangle - \frac{n(n+1)^2}{4}\right) \end{align}
\]
Коэффициент Пирсона оценивает степень линейной зависимости, коэффициент Спирмэна — степень монотонности зависимости. Слева: строго монотонная, но нелинейная связь — коэффициент Спирмэна равен 1, а коэффициент Пирсона заметно ниже. Центр: слабая, почти отсутствующая связь — оба коэффициента близки друг к другу и к нулю. Справа: в целом линейная связь, испорченная выбросами — коэффициент Спирмэна устойчивее к ним, чем коэффициент Пирсона.
Свойства
Теорема 5 Имеет место представление \[
\rho _S = 1 - \frac{6}{n^3 - n}\sum _{i=1}^n \left(R^X_i - R^Y_i\right)^2
\tag{2}\] На практике коэффициент Спирмэна рассчитывают по данной формуле. Она гораздо проще формулы Уравнение 1.
Доказать формулу Уравнение 2.
Заметим, что
\[
\sum _{i=1}^{n}\left(R^X_{i}-R^Y_{i}\right)^{2} = \left\langle \overrightarrow {R}^X-\overrightarrow {R}^Y, \overrightarrow {R}^X-\overrightarrow {R}^Y \right\rangle = 2 \frac{n(n+1)(2n+1)}{6} - 2\left\langle \overrightarrow {R}^X, \overrightarrow {R}^Y \right\rangle ,
\]
откуда
\[
\left\langle \overrightarrow {R}^X, \overrightarrow {R}^Y \right\rangle = \frac{n(n+1)(2n+1)}{6} - \frac{1}{2}\sum _{i=1}^n\left(R^X_i - R^Y_i\right)^2.
\]
Подставим это выражение в формулу для \(\rho_S\) выше и отдельно упростим свободный от суммы член:
\[
\frac{12}{n(n-1)(n+1)}\left(\frac{n(n+1)(2n+1)}{6} - \frac{n(n+1)^2}{4}\right) = \frac{12}{n(n-1)(n+1)} \cdot \frac{n(n+1)(n-1)}{12} = 1.
\]
Следовательно,
\[
\begin{align} \rho _{S} & = \frac{12}{n(n-1)(n+1)} \left(\left\langle \overrightarrow {R}^X, \overrightarrow {R}^Y \right\rangle - \frac{n(n+1)^2}{4}\right) = 1 - \frac{6}{n(n-1)(n+1)}\sum _{i=1}^n\left(R^X_i - R^Y_i\right)^2 \end{align}
\]
Теорема 6 Коэффициент Спирмэна – действительно выборочный коэфф. корреляции согласно определению Определение 1. Среди прочего, если выборки сделаны из независимых распределений, выполнено \[
\mathbb {E}\left[\rho _S\right] = 0, \qquad \operatorname {Var}\left[\rho _S\right] = \frac{1}{n-1}
\]
Докажите, что в случае верности гипотезы о независимости выборок \(\mathbb {E}\left[\rho_S\right] = 0, \; \operatorname {Var}\left[\rho_{S}\right]=\frac{1}{n-1}\).
Проверка гипотезы о независимости
Чтобы проверить гипотезу \(H_0\) о независимости распределений при помощи коэффициента Спирмэна \(\rho_S\), требуется знать распределение \(\rho_S\) при верной \(H_0\). Заметим, что
\[
-1 \leq \rho _S \leq 1 \iff 0 \leq \frac{6}{n^3 - n} \sum _{i=1}^n \left(R_i^X - R_i^Y\right)^2 \leq 2 \iff 0 \leq \sum _{i=1}^n \left(R_i^X - R_i^Y\right)^2 \leq \frac{n^3 - n}{3} =: \psi _n \in \mathbb {N}.
\]
При этом, очевидно, \(\sum_{i=1}^n \left(R_i^X - R_i^Y\right)^2 \in \mathbb {Z}_+\). Следовательно, при любом \(n\) коэффициент \(\rho_S\) – дискретная случайная величина, принимающая значения в множестве
\[
A_n = \left\{ 1 - 2\frac{k}{\psi _n}: \; k \in \left\{ 0, 1, \ldots , \psi _n\right\} \right\} = \left\{ -1, -1 + 2\frac{1}{\psi _n}, -1 + 2\frac{2}{\psi _n}, \ldots , -1 + 2\frac{\psi _n - 2}{\psi _n}, -1 + 2\frac{\psi _n - 1}{\psi _n}, 1 \right\}
\]
Распределение \(\rho_S\) можно вычислить, вычислив функцию вероятностей на множестве \(A_n\).
Поскольку распределение \(\rho_S\) дискретно, вычисление функции вероятностей \(\rho_S\) – комбинаторная задача. Ее можно решить при любых \(n\), просто перебрав все возможные значения рангов \(\overrightarrow {R}^X, \overrightarrow {R}^Y\) на листке или на компьютере. Однако с ростом \(n\) количество вариантов для перебора растет как \(n!\), т.е. очень быстро. На практике статистические пакеты имеют точные значения распределения \(\rho_S\) лишь при \(n \leq N\) для некоторой границы \(N\). Например, в стат. пакете pspearman языка R граница равна \(22\): \(N = 22\).
При \(n > N\) стат. пакеты при тестировании гипотезы о независимости используют приближение распределения \(\rho_S\). Например, из ЦПТ при больших \(n\) имеем
\[
\operatorname {Law}\left(\frac{\rho _S}{\sqrt{\operatorname {Var}\left[\rho _S\right]}}\right) = \operatorname {Law}\left(\sqrt{n-1}\rho _S\right) \approx \mathscr {N}\left(0, 1\right).
\]
Или из свойств коэфф. Пирсона для нормальных выборок имеем
\[
\operatorname {Law}\left(\frac{\rho _S\sqrt{n-2}}{\sqrt{1 - \rho _S^2}}\right) \approx T_{n-2}
\]
Также может использоваться исправленная статистика, равная полусумме двух предыдущих:
\[
\tilde{\rho }_S = \frac{\rho _S}{2}\left(\frac{\sqrt{n-2}}{\sqrt{1 - \rho _S^2}} + \sqrt{n-1}\right).
\]
Функция распределения и квантильная функция \(\tilde{\rho }_S\) примерно равны полусумме соответствующих функций для \(\mathscr {N}\left(0, 1\right)\) и для \(T_{n-2}\).
Используются и другие способы вычисления приближения распределения \(\rho_S\). Например, в функции cor.test языка R при \(n < 1290\) используется алгоритм AS 89. Подробнее см. (Best и Roberts 1975 г.).
Итого, критерий уровня значимости \(\alpha\) для проверки гипотезы \(H_0\) о независимости может выглядеть так:
если \(n \leq 22\), то отвергаем гипотезу \(H_0\), если \(\rho_S \not\in \left(Q_n(\frac{\alpha }{2}), Q_n(1 - \frac{\alpha }{2})\right)\), где \(Q_n(\cdot )\) – точная квантильная функция распределения \(\rho_S\);
если \(n > 22\), и мы, например, используем исправленную статистику \(\tilde{\rho }_S\), то отвергаем гипотезу \(H_0\), если
\[
\tilde{\rho }_S \not\in \left(\frac{Q_{\mathscr {N}\left(0, 1\right)}(\alpha /2) + Q_{T_{n-2}}(\alpha /2)}{2}, \frac{Q_{\mathscr {N}\left(0, 1\right)}(1 - \alpha /2) + Q_{T_{n-2}}(1 - \alpha /2)}{2}\right)
\]
Найти распределение \(\rho_S\) при \(n=3\), если \(H_0\) верна. Найти квантильную функцию \(Q_3(\cdot )\) этого распределения.
Определим статистику \(T_{i}\) следующим образом: если \(R^X_{k}=\) \(i\), то \(T_{i}=R^Y_{k}\). Т.е. \(T_i = R^Y_{(R^X)^{-1}(i)}\):
\[
\begin{pmatrix} R^X_1 & R^Y_1 \\ R^X_2 & R^Y_2 \\ \vdots & \vdots \\ R^X_n & R^Y_n \\ \end{pmatrix} = \begin{pmatrix} R^X_1 & R^Y_1 \\ \vdots & \vdots \\ 1 & T_1 \\ \vdots & \vdots \\ 2 & T_2 \\ \vdots & \vdots \\ R^X_n & R^Y_n \\ \end{pmatrix}
\]
Коэфф. Спирмэна между \(\overrightarrow {R}^X, \overrightarrow {R}^Y\) равен коэфф. Спирмэна между \(\overrightarrow {T}, (1, \ldots , n)^T\). Набор значений \(\left\{ T_{i}\right\}_{i=1}^{n}\) есть перестановка множества \(\{ 1, \ldots , n\}\), причем их распределние при верной гипотезе \(H_0\), очевидно, является равномерным. Имеем
\[
\begin{align} \rho _S = 1 - \frac{6}{n^{3}-n}\sum _{i=1}^n \left(i - T_i\right)^2 = 1 -\frac{1}{4}\sum _{i=1}^3 \left(i - T_i\right)^2 \end{align}
\]
Распределение \(\sum_{i=1}^3 (i - T_i)^2\):
| Вероятность |
\(\sum_{i=1}^3 d_i^2\) |
| \(1/6\) |
0 |
| \(2/6\) |
2 |
| \(2/6\) |
6 |
| \(1/6\) |
8 |
Распределение \(\rho_S\):
| Вероятность |
\(r_S\) |
| \(1/6\) |
\(-1\) |
| \(1/3\) |
\(-0.75\) |
| \(1/3\) |
\(0.75\) |
| \(1/6\) |
\(1\) |
Функция распределения:
\[
F_3(r) = \begin{cases} 0, & r < -1 \\ 1/6, & r \in [-1, -0.5) \\ 1/2, & r \in [-0.5, 0.5) \\ 5/6, & r \in [0.5, 1) \\ 1, & r \geq 1 \end{cases}
\]
Квантильная функция:
\[
Q_3(p) = \inf \left\{ r \in \mathbb {R}: p \leq F_3(r)\right\} = \begin{cases} -1, & p \in (0, 1/6] \\ -0.5, & p \in (1/6, 1/2] \\ 0.5, & p \in (1/2, 5/6] \\ 1, & p \in (5/6, 1] \\ \end{cases}
\]
Найти распределение \(\rho_S\) при \(n=4\), если \(H_0\) верна. Найти квантильную функцию \(Q_4(\cdot )\) этого распределения.
Докажите, используя введенные в примере Пример 6 статистики \(\left\{ T_{i}\right\}\), что \[
\rho _{S} = 1-\frac{12}{n^{3}-n} \sum _{i<j}(j-i) \; \mathbb {1}_{T_{i}>T_{j}}.
\]
Примечание. Задача оценивается в 3 балла.
Коэффициент корреляции Кэндалла
Ещё одним примером устойчивого к выбросам коэффициента корреляции, построенного с помощью ранговых методов, является коэффициент корреляции Кэндалла.
Определения
Определение 5 Пара 2-мерных наблюдений \(\left(X_{i}, Y_{i}\right), \left(X_{j}, Y_{j}\right)\) называется согласованной, если \[
\left[ \begin{gathered} X_i < X_j, \; Y_i < Y_j \\ X_i > X_j, \; Y_i > Y_j \\ \end{gathered} \right.
\] Иначе: \[
\operatorname {sign}\left(X_{i}-X_{j}\right) \operatorname {sign}\left(Y_{i}-Y_{j}\right)=1
\]
Для наблюдения \((X_1, Y_1)\) в закрашенной зоне лежат наблюдения, согласованные с ним (произведение знаков отклонений \(\operatorname{sign}(X_i-X_1)\operatorname{sign}(Y_i-Y_1)=1\)), в незакрашенной — несогласованные.
Пусть \(C\) – число согласованных пар наблюдений, \(D\) – число несогласованных. Всего пар
\[
C + D = \frac{n(n-1)}{2}
\]
По-прежнему считаем, что внутри выборок нет одинаковых элементов. Заметим, что разность \(C - D\) может меняться от \(-\frac{n(n-1)}{2}\) до \(\frac{n(n-1)}{2}\), причем если гипотеза \(H_0\) о независимости верна, то \(C - D \approx 0\).
Определение 6 Коэффициентом корреляции Кэндалла называется статистика \[
\tau =\frac{2}{n(n-1)} \left(C - D\right)= 1-\frac{4}{n(n-1)} D.
\]
Свойства
Следствие 1 Коэффициент Кэндалла, как и коэфф. Спирмэна, – ранговый коэффициент, т.е. его значение зависит только от рангов \(\overrightarrow {R}^X, \overrightarrow {R}^Y\) выборок \(\overrightarrow {X}, \overrightarrow {Y}\).
Теорема 8 Коэффициент Кэндалла – действительно выборочный коэфф. корреляции согласно определению Определение 1. Среди прочего, если выборки сделаны из независимых распределений, выполнено \[
\mathbb {E}\left[\tau \right] = 0, \qquad \operatorname {Var}\left[\tau \right] = \frac{2(2n+5)}{9n(n-1)}
\]
Теорема 9 (Связь коэфф. Спирмэна и Кэндалла) При верной гипотезе \(H_{0}\) коэффициенты корреляции Спирмэна и Кэндалла сильно коррелированы: \(\operatorname {Corr}\left[ \rho_{S}, \tau \right] > 0.98\) при \(n>5\). Но коэффициент корреляции Спирмэна более чувствителен к количеству несогласованных пар.
Проверка гипотезы о независимости
Коэфф. Кэндалла, как и коэфф. Спирмэна, – дискретная случайная величина. При малых \(n \leq N\) можно достаточно легко вычислить функцию распределения и квантильную функцию \(\tau\). К примеру, в функции cor.test языка R \(N = 50\). При \(n > N\) стат. пакеты используют нормальное приближение из ЦПТ: при верной \(H_0\) имеем
\[
\operatorname {Law}\left(\frac{\tau }{\sqrt{\operatorname {Var}\left[\tau \right]}}\right) = \operatorname {Law}\left(\sqrt{\frac{9n(n-1)}{2(2n+5)}} \tau \right) \approx \mathscr {N}\left(0, 1\right)
\]
Критерий уровня значимости \(\alpha\) для проверки гипотезы \(H_0\) о независимости может выглядеть так:
если \(n \leq 50\), то отвергаем гипотезу \(H_0\), если \(\tau \not\in \left(Q_n(\frac{\alpha }{2}), Q_n(1 - \frac{\alpha }{2})\right)\), где \(Q_n(\cdot )\) – точная квантильная функция распределения \(\tau\);
если \(n > 50\), то отвергаем гипотезу \(H_0\), если
\[
\sqrt{\frac{9n(n-1)}{2(2n+5)}}\tau \not\in \left(Q_{\mathscr {N}\left(0, 1\right)}(\alpha /2), Q_{\mathscr {N}\left(0, 1\right)}(1 - \alpha /2)\right)
\]
Найти распределение \(\tau\) при \(n=4\), если \(H_0\) верна. Найти квантильную функцию \(Q_4(\cdot )\) этого распределения.
(*) Прочие коэффициенты корреляции
Обобщенный коэффициент корреляции
Даны выборки \(\overrightarrow {X}=\left(X_{1}, \ldots , X_{n}\right)^T, \overrightarrow {Y}=\left(Y_{1}, \ldots , Y_{n}\right)^T\). Pacсмотрим произвольную антисимметричную функцию \(f: \mathbb {R}^{2} \to \mathbb {R}\):
\[
f(x_1, x_2) = -f(x_2, x_1).
\]
Для любых \(1 \leq i < j \leq n\) и для \(\overrightarrow {x} \in \mathbb {R}^{n}\) положим \(c_{i j}(\overrightarrow {x}) := f\left(x_{i}, x_{j}\right)\).
Определение 7 Рассмотрим некоторую \(n\)-мерную характеристику \(\tilde{\overrightarrow {X}} = \tilde{\overrightarrow {X}}(\overrightarrow {X})\) для выборки \(\overrightarrow {X}\). Например, \(\tilde{\overrightarrow {X}}\) может быть самой выборкой \(\overrightarrow {X}\) или вектором рангов \(\overrightarrow {R}^X\). Аналогично для \(\overrightarrow {Y}\). Обобщённым коэффициентом корреляции называется следующая статистика: \[
\widehat{r}_f(\overrightarrow {X}, \overrightarrow {Y}) = \frac{\sum _{i<j} c_{i j}(\tilde{\overrightarrow {X}}) c_{i j}(\tilde{\overrightarrow {Y}})}{\sqrt{\sum _{i<j} c^2_{i j}(\tilde{\overrightarrow {X}}) \sum _{i<j} c^2_{i j}(\tilde{\overrightarrow {Y}})}}.
\]
Докажите первое свойство из опр. Определение 1 для обобщенного коэффициента корреляции.
Выразите коэффициенты корреляции
Пирсона,
Спирмэна,
Кэндалла как обобщенные коэффициенты корреляции.
Коэффициент корреляции знаков Фехнера
Определение 8 Коэффициент корреляции знаков Фехнера определяется формулой \[
I = \frac{C-H}{C + H},
\] где \(C\) – число пар, у которых знаки отклонений значений от их средних совпадают, \(H\) – число пар, у которых знаки отклонений значений от их средних не совпадают.
Найдите распределение \(I\) при верности гипотезы о независимости выборок, если выборки сделаны из стандартного нормального распределения.
Практические задачи
Было проведено исследование на выявление взаимосвязи между физическим весом и IQ первоклассников города Усть-Илимск.
Проверить гипотезу о независимости веса от IQ на уровне значимости \(0.1\).
Посчитаем коэффициент корреляции Спирмэна для наших данных. Заметим, что среди значений веса школьников встречаются одинаковые, поэтому было бы естественным положить их ранги одинаковыми. Это достигается за счёт использования так называемых средних рангов: ранги, соответствующие одинаковым значениям в выборке, заменяются на среднее арифметическое рангов по этим значениям. Тем самым, ранги значений данных нам выборок таковы (первая строка соответствует весу, вторая \(\mathrm{IQ})\):
Обратите внимание: при наличии связок (одинаковых значений) формула CoeffCorr:SpearmanSimpleRepresentation перестает быть точной – при ее выводе мы пользовались тем, что вектор рангов есть перестановка чисел \(1, \ldots , n\). Поэтому считаем \(\rho_S\) по определению, как коэфф. Пирсона между векторами средних рангов. Получаем \(\rho_{S} \approx -0.355\) (формула CoeffCorr:SpearmanSimpleRepresentation дала бы близкое, но неточное значение \(-0.348\)).
Данные задачи: вес и IQ первоклассников (\(n = 12\))
Реальные данные из условия задачи (не симуляция): вес (кг) и IQ 12 первоклассников г. Усть-Илимска. Два наблюдения — IQ \(145\) и IQ \(215\) — резко выбиваются из общей массы: выборка явно негауссовская, и коэффициент Пирсона здесь неприменим, тогда как ранговый коэффициент Спирмэна устойчив к таким выбросам. Кликните по выделенной (красной) точке-выбросу, чтобы исключить/включить её из расчёта корреляции, или переключите вид данных ниже.
Наблюдений в расчёте:
\(\hat\rho\) (Пирсон) =
\(\rho_S\) (Спирмэн) =
По полной выборке (\(n=12\)) коэффициент Спирмэна по средним рангам \(\rho_S \approx -0.355\); коэффициент Пирсона искажён выбросами.
Значение коэффициента корреляции довольно далеко отстоит от 0, что может свидетельствовать о зависимости выборок. Тем не менее, используем исправленную статистику \(\tilde{\rho }_{S}\), чтобы корректно проверить гипотезу \(H_{0}\). Имеем (\(n=12\)):
\[
\begin{align} \tilde{\rho }_S & = \frac{\rho _S}{2}\left(\frac{\sqrt{n-2}}{\sqrt{1 - \rho _S^2}} + \sqrt{n-1}\right) = \frac{-0.355}{2}\left(\frac{\sqrt{10}}{\sqrt{1-0.355^2}} + \sqrt{11}\right) = \\ & = \frac{-0.355}{2}\left(\frac{3.162}{0.935} + 3.317\right) \approx \frac{-0.355}{2}\cdot 6.699 \approx -1.19, \end{align}
\]
тогда как критическое значение (полусумма квантилей уровня \(0.05\) распределений \(\mathscr {N}\left(0, 1\right)\) и \(T_{10}\)) равно
\[
\frac{Q_{\mathscr {N}\left(0, 1\right)}(0.05) + Q_{T_{10}}(0.05)}{2} = \frac{-1.645 - 1.812}{2} \approx -1.73.
\]
Поскольку \(-1.19 > -1.73\), несмотря на довольно большое абсолютное значение коэффициента корреляции, гипотезу о независимости выборок отвергнуть нельзя.
Темпы роста ВВП России и Украины за 2006 - 2012 годах в процентах (всего и на душу населения, по отношению к 2005 году):
Темпы роста ВВП России и Украины за 2006–2012 годы, в % по отношению к 2005 году: всего и на душу населения.
Проверьте гипотезу о независимости данных выборок на уровне значимости \(0.05\) (выберите наиболее удобный и применимый в данном случае критерий).
В институте проведено исследование на выявление зависимости между успеваемостью студента и средним количеством пончиков, съеденным им за день.
Среднее число пончиков, съеденных за день, и итоговый балл — по 14 студентам.
Проверьте гипотезу о независимости успеваемости и количества съеденных пончиков на уровне значимости \(0.05\) (выберите наиболее удобный и применимый в данном случае критерий).
Можно ли с уровнем значимости \(0.05\) считать, что последовательность чисел \[
1.05,1.12,1.37,1.50,1.51,1.73,1.85,1.98,2.03,2.17
\] является реализацией случайного вектора, все 10 компонент которого независимые одинаково распределенные случайные величины? Вывод сделайте на основе коэффициентов корреляции (выберите наиболее удобный и применимый в данном случае критерий).
использованная литература
Best, D. J., и D. E. Roberts. 1975 г.
«Algorithm AS 89: The Upper Tail Probabilities of Spearman’s Rho».
Journal of the Royal Statistical Society. Series C (Applied Statistics) 24 (3): 377–79.
http://www.jstor.org/stable/2347111.