Коэффициенты корреляции
Пусть \(\vect {X} = \left(X_{1}, \ldots , X_{n}\right)^T\) и \(\vect {Y}=\left(Y_{1}, \ldots , Y_{n}\right)^T\) – две парные выборки из одномерных распределений. Т.е. у нас имеется выборка из 2-мерного распределения \(\operatorname {Law}\left(X_1, Y_1\right)\):
\[ \begin{pmatrix} \vect {X} & \vect {Y} \end{pmatrix} = \begin{pmatrix} X_1 & Y_1 \\ X_2 & Y_2 \\ \vdots & \vdots \\ X_n & Y_n \end{pmatrix} \]
Нас будет интересовать, являются ли \(\vect {X}\), \(\vect {Y}\) выборками из независимых распределений: \(\operatorname {Law}\left(X_1, Y_1\right) = \operatorname {Law}\left(X_1\right)\cdot \operatorname {Law}\left(Y_1\right)\). Иными словами, выдвигается гипотеза
\[ H_{0}: F_{X, Y}(s, t)=F_{X}(s) F_{Y}(t) \text{ для всех } s, t, \]
где \(F_{X}\) – функция распределения \(X_{1}, F_{Y}\) – функция распределения \(Y_{1}\), а \(F_{X, Y}\) – функция распределения вектора \(\left(X_{1}, Y_{1}\right)\). Альтернативой к гипотезе \(H_{0}\) выступает гипотеза \(H_{1}\) о зависимости выборок \(\vect {X}\) и \(\vect {Y}\), т.е.
\[ H_{1}: F_{X, Y}(s, t) \neq F_{X}(s) F_{Y}(t) \text{ для некоторых } s, t . \]
Проверить свойство независимости в общем случае проблематично, потому что оно должно быть выполнено для всех пар \(s, t\), гораздо проще убедиться в том, что выборки являются зависимыми через коэффициент корреляции. Напомним, что если у \(X_1\) и у \(Y_1\) конечные вторые моменты, то
\[ \operatorname {Corr}\left( X_1, Y_1 \right) = \frac{\operatorname {Cov}\left( X_1, Y_1 \right)}{\sqrt{\operatorname {Var}\left[X_1\right]} \sqrt{\operatorname {Var}\left[Y_1\right]}}. \]
По неравенству КБШ, \(\left|\operatorname {Corr}\left( X_1, Y_1 \right)\right| \leq 1\), причем если у \(X_1\), \(Y_1\) независимы, то \(\operatorname {Corr}\left( X_1, Y_1 \right) = 0\).
В случае выборок из неизвестных распределений истинный коэффициент корреляции \(\operatorname {Corr}\left( X_1, Y_1 \right)\) посчитать невозможно. Вместо этого используются выборочные коэффициенты корреляции. Общее правило принятия решения в нашей задаче выглядит так: если коэффициент корреляции достаточно далеко отстоит от нуля, то отвергаем гипотезу о независимости.
Корреляционный анализ (а именно, анализ зависимостей между наблюдениями) играет важную роль в задачах регрессии, а также в теории временных рядов, в частности, анализе стационарных последовательностей и авторегрессионных моделей.
Определение 1 Для парной выборки \(\left(\vect {X} \; \vect {Y}\right)\) статистика \(\widehat{r}\) называется выборочным коэффициентом корреляции, если
\(\left|r\right| \leq 1\), причем значения \(1, -1\) могут быть статистикой \(\widehat{r}\) достигнуты;
При верной гипотезе \(H_0\) о независимости распределений выборок имеем
\[ \mathbb {E}\left[\widehat{r}\right] = 0, \qquad \operatorname {Var}\left[\widehat{r}\right] \xrightarrow [n \to \infty ]{} 0. \] Заметим, что при выполнении прочих условий условие \(\operatorname {Var}\left[\widehat{r}\right] \xrightarrow [n \to \infty ]{} 0\) эквивалентно \(\widehat{r} \xrightarrow [n \to \infty ]{\mathbb {P}, d} 0\).
В данной главе мы рассмотрим три самых используемых выборочных коэффициента корреляции: коэффициенты корреляции Пирсона, Спирмэна и Кэндалла.
1 Коэффициент корреляции Пирсона
1.1 Определение, свойства
Пусть \(X_{1}, \ldots , X_{n}\) и \(Y_{1}, \ldots , Y_{n}\) – две выборки с конечными вторыми моментами: \(\mathbb {E}\left[X_1^2\right], \mathbb {E}\left[Y_1^2\right] < \infty\). Для оценки корреляции требуется оценить дисперсии \(\sigma_X^2\), \(\sigma_Y^2\) каждой выборки, а также их ковариацию. Оценки для дисперсий мы строили еще в первой главе:
\[ \widehat{\sigma _X^2} = s^2_X = \overline{\vect {X}^2} - \overline{\vect {X}}^2 = \frac{1}{n}\sum _{i=1}^n\left(X_i - \overline{\vect {X}}\right), \qquad \widehat{\sigma _X^2} = s^2_Y = \frac{1}{n}\sum _{i=1}^n\left(X_i - \overline{\vect {X}}\right) \]
Оценим ковариацию. Напомним, что
\[ \operatorname {Cov}\left( X_1, Y_1 \right) = \mathbb {E}\left[\left(X_1 - \mathbb {E}\left[X_1\right]\right)\left(Y_1 - \mathbb {E}\left[Y_1\right]\right)\right]. \]
По аналогии с дисперсией ковариацию можно оценить так:
\[ \widehat{\operatorname {Cov}\left( X_1, Y_1 \right)} = \frac{1}{n}\sum _{i=1}^n\left(X_i - \overline{\vect {X}}\right)\left(Y_i - \overline{\vect {Y}}\right) \]
Определение 2 Коэффициентом корреляции Пирсона или обычным (выборочным) коэффициентом корреляции называется следующая статистика: \[ \widehat{\rho }(\vect {X}, \vect {Y}) := \frac{\widehat{\operatorname {Cov}\left( X_1, Y_1 \right)}}{\sqrt{\widehat{\sigma _X^2}}\sqrt{\widehat{\sigma _Y^2}}} = \frac{\sum _{i=1}^{n}\left(X_{i}-\overline{\vect {X}}\right)\left(Y_{i}-\overline{\vect {Y}}\right)}{\sqrt{\sum _{i=1}^{n}\left(X_{i}-\overline{\vect {X}}\right)^{2} \sum _{i=1}^{n}\left(Y_{i}-\overline{\vect {Y}}\right)^{2}}} = \frac{\left\langle \vect {X} - \overline{\vect {X}}\cdot \overrightarrow {1}, \vect {Y} - \overline{\vect {Y}}\cdot \overrightarrow {1} \right\rangle }{\left\| \vect {X} - \overline{\vect {X}}\cdot \overrightarrow {1}\right\| \left\| \vect {Y} - \overline{\vect {Y}}\cdot \overrightarrow {1}\right\| } = \frac{\overline{\vect {X}\vect {Y}} - \overline{\vect {X}} \; \overline{\vect {Y}}}{\sqrt{\overline{\vect {X}^2} - \overline{\vect {X}}^2}\sqrt{\overline{\vect {Y}^2} - \overline{\vect {Y}}^2}} \]
Выборочная корреляция Пирсона сходится к истинной:
\[ \widehat{\rho } \xrightarrow [n \to \infty ]{\mathbb {P}} \operatorname {Corr}\left( X_1, Y_1 \right) \]
Коэффициент Пирсона – действительно выборочный коэфф. корреляции согласно определению Определение 1.
[Связь с линейной регрессией] Если у нас имеется линейная регрессионная модель со свободным членом
\[ \vect {X} = \mathbf{Z}\vect {\theta } + \vect {\varepsilon }, \qquad \vect {Z}_{\cdot 0} = \overrightarrow {1}, \quad \dim (\mathbf{Z}) = n \times (k+1), \quad \dim (\vect {\theta }) = k + 1, \]
то ее коэффициент детерминации равен квадрату выборочной корреляции между зависимой переменной \(\vect {X}\) и моделью \(\widehat{\vect {X}}\):
\[ R^2 = \widehat{\rho }^2\left(\vect {X}, \widehat{\vect {X}}\right) \]
Более того, если \(k=1\), т.е. у нас имеется линейная регрессионная модель со свободным членом и одним регрессором \(\vect {Y}:= \vect {Z}_{\cdot 1}\):
\[ \vect {X} = \theta _0 \cdot \overrightarrow {1} + \theta _1 \vect {Y} + \vect {\varepsilon }, \]
то коэффициент детерминации равен квадрату выб. корреляции между зависимой переменной и регрессором:
\[ R^2 = \widehat{\rho }^2\left(\vect {X}, \vect {Y}\right). \qquad \text{При этом } \widehat{\theta }_1 = \widehat{\rho }\sqrt{\frac{\widehat{\sigma _X^2}}{\widehat{\sigma _Y^2}}}. \]
1.2 Гауссовские выборки
Пусть \((\vect {X}, \vect {Y})\) – выборка из 2-мерного нормального распределения:
\[ \begin{pmatrix} X_1 & Y_1 \end{pmatrix} \sim \mathscr {N}\left(\begin{pmatrix} \mu _X\\ \mu _Y \end{pmatrix}, \begin{pmatrix} \sigma _X^2 & \rho \cdot \sigma _X \sigma _Y \\ \rho \cdot \sigma _X \sigma _Y & \sigma _Y^2 \\ \end{pmatrix}\right), \]
где \(\rho := \operatorname {Corr}\left( X_1, Y_1 \right)\). Поскольку мы работаем с выборкой из 2-мерного гауссовского распределения, независимость компонент равносильна их некоррелированности, т.е. \(H_0 \iff \rho = 0\).
В данном случае для тестирования гипотезы о независимости существует точный критерий, т.е. такой критерий, в котором распределение статистики известно. Если гипотеза \(H_0\) о независимости \(X_1, Y_1\) верна, то
\[ T=\frac{\hat{\rho } \sqrt{n-2}}{\sqrt{1-\hat{\rho }^{2}}} \sim T_{n-2} \]
Критерий уровня значимости \(\alpha\) для проверки гипотезы \(H_{0}\) для нормальных выборок выглядит так: если \(T \notin \left(Q_{t_{n-2}}(\frac{\alpha }{2}), Q_{t_{n-2}}(1 - \frac{\alpha }{2})\right)\), где \(Q_{t_{n-2}}(\cdot )\) – квантильная функция для распределения Стьюдента с \(n-2\) степенями свободы, то отвергаем гипотезу \(H_{0}\) о независимости.
1.3 Недостатки
Вследствие того, что для нормальных выборок некоррелированность эквивалентна независимости, коэффициент корреляции Пирсона наиболее подходит для работы с нормальными выборками. Но, к сожалению, как и в случае многих параметрических методов, использование этого коэффициента корреляции приводит к получению неадекватных значений статистики (что означает неверность принимаемых статистических решений), так как коэффициент корреляции не является устойчивым к выбросам (при наличии в выборке далеко отстоящих данных, связанных, например, с ошибками измерений). Широко известен пример (так называемый “квартет Энскомба”), демонстрирующий, насколько подобные методы обработки статистических данных способны “врать”, даже если выброс всего один на 10 “обычных” результатов.
2 Ранговые коэффициенты корреляции
2.1 Ранги выборки
Пусть имеется выборка \(X_{1}, \ldots , X_{n}\) из некоторого непрерывного распределения, т.е. элементы выборки не совпадают п.н. Упорядочим элементы выборки по возрастанию, т.е. построим вариационный ряд выборки.
Определение 3 Номера, которые получили элементы выборки при таком упорядочивании, называются их рангами. Обозначение: \(\vect {R}^X\).
Основное свойство рангов:
\[ \mathbb {P}\left(R^X_1 = r_1, \ldots , R^X_n = r_n\right) = \frac{1}{n !}, \]
где \(\left(r_{1}, \ldots , r_{n}\right)\) – произвольная перестановка чисел \((1, \ldots , n)\), поскольку для любых \(i<j\) выполнено \(\mathbb {P}\left(X_i > X_j\right) = \mathbb {P}\left(X_j > X_i\right)\), так как компоненты выборки независимы и одинаково распределены. Распределение рангов не зависит от распределения выборки.
2.2 Коэффициент корреляции Спирмэна
2.2.1 definition
Рассмотрим теперь, как и ранее, две выборки \(X_{1}, \ldots , X_{n}\) с функцией распределения \(F_{X}\) и \(Y_{1}, \ldots , Y_{n}\) с функцией распределения \(F_{Y}\).
Определение 4 Коэффициент корреляции Спирмэна \(\rho_S\) – это коэффициент корреляции Пирсона между рангами \(R^X, R^Y\): \[ \label{CoeffCorr:SpearmanFormula} \rho _{S} := \frac{\sum _{i=1}^{n}\left(R^X_{i}-\overline{R^X}\right)\left(R^Y_{i}-\overline{R^Y}\right)}{\sqrt{\sum _{i=1}^{n}\left(R^X_{i}-\overline{R^X}\right)^{2} \sum _{i=1}^{n}\left(R^Y_{i}-\overline{R^Y}\right)^{2}}} = \frac{\overline{R^X R^Y} - \overline{R^X} \cdot \overline{R^Y}}{\sqrt{\overline{(R^X)^2} - \overline{R^X}^2}\sqrt{\overline{(R^Y)^2} - \overline{R^Y}^2}} \]
Используя результаты задачи @CoeffCorr:RanksPropertiesProb, имеем
\[ \begin{align} \overline{(R^X)^2} - \overline{R^X}^2 & = \frac{(n+1)(2n+1)}{6} - \frac{(n+1)^2}{4} = \frac{n^2-1}{12} \\ \rho _S & = \frac{12}{(n-1)(n+1)} \left(\overline{R^X R^Y} - \frac{(n+1)^2}{4}\right) = \\ & = \frac{12}{n(n-1)(n+1)} \left(\left\langle \vect {R}^X, \vect {R}^Y \right\rangle - \frac{n(n+1)^2}{4}\right) \end{align} \]
2.2.2 Свойства
Имеет место представление
\[ \label{CoeffCorr:SpearmanSimpleRepresentation} \rho _S = 1 - \frac{6}{n^3 - n}\sum _{i=1}^n \left(R^X_i - R^Y_i\right)^2 \]
На практике коэффициент Спирмэна рассчитывают по данной формуле. Она гораздо проще формулы Определение 4.
Коэффициент Спирмэна – действительно выборочный коэфф. корреляции согласно определению Определение 1. Среди прочего, если выборки сделаны из независимых распределений, выполнено
\[ \mathbb {E}\left[\rho _S\right] = 0, \qquad \operatorname {Var}\left[\rho _S\right] = \frac{1}{n-1} \]
2.2.3 Проверка гипотезы о независимости
Чтобы проверить гипотезу \(H_0\) о независимости распределений при помощи коэффициента Спирмэна \(\rho_S\), требуется знать распределение \(\rho_S\) при верной \(H_0\). Заметим, что
\[ -1 \leq \rho _S \leq 1 \iff 0 \leq \frac{6}{n^3 - n} \sum _{i=1}^n \left(R_i^X - R_i^Y\right)^2 \leq 2 \iff 0 \leq \sum _{i=1}^n \left(R_i^X - R_i^Y\right)^2 \leq \frac{n^3 - n}{3} =: \psi _n \in \mathbb {N}. \]
При этом, очевидно, \(\sum_{i=1}^n \left(R_i^X - R_i^Y\right)^2 \in \mathbb {Z}_+\). Следовательно, при любом \(n\) коэффициент \(\rho_S\) – дискретная случайная величина, принимающая значения в множестве
\[ A_n = \left\{ 1 - 2\frac{k}{\psi _n}: \; k \in \left\{ 0, 1, \ldots , \psi _n\right\} \right\} = \left\{ -1, -1 + 2\frac{1}{\psi _n}, -1 + 2\frac{2}{\psi _n}, \ldots , -1 + 2\frac{\psi _n - 2}{\psi _n}, -1 + 2\frac{\psi _n - 1}{\psi _n}, 1 \right\} \]
Распределение \(\rho_S\) можно вычислить, вычислив функцию вероятностей на множестве \(A_n\).
Поскольку распределение \(\rho_S\) дискретно, вычисление функции вероятностей \(\rho_S\) – комбинаторная задача. Ее можно решить при любых \(n\), просто перебрав все возможные значения рангов \(\vect {R}^X, \vect {R}^Y\) на листке или на компьютере. Однако с ростом \(n\) полиномиально растет количество вариантов для перебора. На практике статистические пакеты имеют точные значения распределения \(\rho_S\) лишь при \(n \leq N\) для некоторой границы \(N\). Например, в стат. пакете pspearman языка R граница равна \(22\): \(N = 22\).
При \(n > N\) стат. пакеты при тестировании гипотезы о независимости используют приближение распределения \(\rho_S\). Например, из ЦПТ при больших \(n\) имеем
\[ \operatorname {Law}\left(\frac{\rho _S}{\sqrt{\operatorname {Var}\left[\rho _S\right]}}\right) = \operatorname {Law}\left(\sqrt{n-1}\rho _S\right) \approx \mathscr {N}\left(0, 1\right). \]
Или из свойств коэфф. Пирсона для нормальных выборок имеем
\[ \operatorname {Law}\left(\frac{\rho _S\sqrt{n-2}}{\sqrt{1 - \rho _S^2}}\right) \approx T_{n-2} \]
Также может использоваться исправленная статистика, равная полусумме двух предыдущих:
\[ \tilde{\rho }_S = \frac{\rho _S}{2}\left(\frac{\sqrt{n-2}}{\sqrt{1 - \rho _S^2}} + \sqrt{n-1}\right). \]
Функция распределения и квантильная функция \(\tilde{\rho }_S\) примерно равны полусумме соответствующих функций для \(\mathscr {N}\left(0, 1\right)\) и для \(T_{n-2}\).
Используются и другие способы вычисления приближения распределения \(\rho_S\). Например, в функции cor.test языка R при \(n < 1290\) используется алгоритм AS 89. Подробнее см. .
Итого, критерий уровня значимости \(\alpha\) для проверки гипотезы \(H_0\) о независимости может выглядеть так:
если \(n \leq 22\), то отвергаем гипотезу \(H_0\), если \(\rho_S \not\in \left(Q_n(\frac{\alpha }{2}), Q_n(1 - \frac{\alpha }{2})\right)\), где \(Q_n(\cdot )\) – точная квантильная функция распределения \(\rho_S\);
если \(n > 22\), и мы, например, используем исправленную статистику \(\tilde{\rho }_S\), то отвергаем гипотезу \(H_0\), если
\[ \tilde{\rho }_S \not\in \left(\frac{Q_{\mathscr {N}\left(0, 1\right)}(\alpha /2) + Q_{T_{n-2}}(\alpha /2)}{2}, \frac{Q_{\mathscr {N}\left(0, 1\right)}(1 - \alpha /2) + Q_{T_{n-2}}(1 - \alpha /2)}{2}\right) \]
2.3 Коэффициент корреляции Кэндалла
Ещё одним примером устойчивого к выбросам коэффициента корреляции, построенного с помощью ранговых методов, является коэффициент корреляции Кэндалла.
2.3.1 Определения
Определение 5 Пара 2-мерных наблюдений \(\left(X_{i}, Y_{i}\right), \left(X_{j}, Y_{j}\right)\) называется согласованной, если \[ \left[ \begin{gathered} X_1 < X_2, \; Y_1 < Y_2 \\ X_1 > X_2, \; Y_1 > Y_2 \\ \end{gathered} \right. \] Иначе: \[ \operatorname {sign}\left(X_{i}-X_{j}\right) \operatorname {sign}\left(Y_{i}-Y_{j}\right)=1 \]
Пусть \(C\) – число согласованных пар наблюдений, \(D\) – число несогласованных. Всего пар
\[ C + D = \frac{n(n-1)}{2} \]
По-прежнему считаем, что внутри выборок нет одинаковых элементов. Заметим, что разность \(C - D\) может меняться от \(-\frac{n(n-1)}{2}\) до \(\frac{n(n-1)}{2}\), причем если гипотеза \(H_0\) о независимости верна, то \(C - D \approx 0\).
Определение 6 Коэффициентом корреляции Кэндалла называется статистика \[ \tau =\frac{2}{n(n-1)} \left(C - D\right)= 1-\frac{4}{n(n-1)} D. \]
2.3.2 Свойства
Имеет место представление
\[ \tau = 1-\frac{4}{n^{2}-n} \sum _{i<j} \; \mathbb {1}_{T_{i}>T_{j}}, \]
где статистики \(\left\{ T_i\right\}\) взяты из примера @CoeffCorr:SpearmanFor3
Коэффициент Кэндалла, как и коэфф. Спирмэна, – ранговый коэффициент, т.е. его значение зависит только от рангов \(\vect {R}^X, \vect {R}^Y\) выборок \(\vect {X}, \vect {Y}\).
Коэффициент Кэндалла – действительно выборочный коэфф. корреляции согласно определению Определение 1. Среди прочего, если выборки сделаны из независимых распределений, выполнено
\[ \mathbb {E}\left[\tau \right] = 0, \qquad \operatorname {Var}\left[\tau \right] = \frac{2(2n+5)}{9n(n-1)} \]
[Связь коэфф. Спирмэна и Кэндалла] При верной гипотезе \(H_{0}\) коэффициенты корреляции Спирмэна и Кэндалла сильно коррелированы: \(\operatorname {Corr}\left( \rho_{S}, \tau \right) > 0,99\) при \(n>5\). Но коэффициент корреляции Спирмэна более чувствителен к количеству несогласованных пар.
2.3.3 Проверка гипотезы о независимости
Коэфф. Кэндалла, как и коэфф. Пирсона, – дискретная случайная величина. При малых \(n \leq N\) можно достаточно легко вычислить функцию распределения и квантильную функцию \(\rho_S\). К примеру, в функции cor.test языка R \(N = 50\). При \(n > N\) стат. пакеты используют нормальное приближение из ЦПТ: при верной \(H_0\) имеем
\[ \operatorname {Law}\left(\frac{\tau }{\sqrt{\operatorname {Var}\left[\tau \right]}}\right) = \operatorname {Law}\left(\sqrt{\frac{9n(n-1)}{2(2n+5)}} \tau \right) \approx \mathscr {N}\left(0, 1\right) \]
Критерий уровня значимости \(\alpha\) для проверки гипотезы \(H_0\) о независимости может выглядеть так:
если \(n \leq 50\), то отвергаем гипотезу \(H_0\), если \(\tau \not\in \left(Q_n(\frac{\alpha }{2}), Q_n(1 - \frac{\alpha }{2})\right)\), где \(Q_n(\cdot )\) – точная квантильная функция распределения \(\tau\);
если \(n > 50\), то отвергаем гипотезу \(H_0\), если
\[ \sqrt{\frac{9n(n-1)}{2(2n+5)}}\tau \not\in \left(Q_{\mathscr {N}\left(0, 1\right)}(\alpha /2), Q_{\mathscr {N}\left(0, 1\right)}(1 - \alpha /2)\right) \]
3 (*) Прочие коэффициенты корреляции
3.1 Обобщенный коэффициент корреляции
Даны выборки \(\vect {X}=\left(X_{1}, \ldots , X_{n}\right)^T, \vect {Y}=\left(Y_{1}, \ldots , Y_{n}\right)^T\). Pacсмотрим произвольную антисимметричную функцию \(f: \mathbb {R}^{2} \to \mathbb {R}\):
\[ f(x_1, x_2) = -f(x_2, x_1). \]
Для любых \(1 \leq i < j \leq n\) и для \(\vect {x} \in \mathbb {R}^{n}\) положим \(c_{i j}(\vect {x}) := f\left(x_{i}, x_{j}\right)\).
Определение 7 Рассмотрим некоторую \(n\)-мерную характеристику \(\tilde{\vect {X}} = \tilde{\vect {X}}(\vect {X})\) для выборки \(\vect {X}\). Например, \(\tilde{\vect {X}}\) может быть самой выборкой \(\vect {X}\) или вектором рангов \(\vect {R}^X\). Аналогично для \(\vect {Y}\). Обобщённым коэффициентом корреляции называется следующая статистика: \[ \widehat{r}_f(\vect {X}, \vect {Y}) = \frac{\sum _{i<j} c_{i j}(\tilde{\vect {X}}) c_{i j}(\tilde{\vect {Y}})}{\sqrt{\sum _{i<j} c^2_{i j}(\tilde{\vect {X}}) \sum _{i<j} c^2_{i j}(\tilde{\vect {Y}})}}. \]
3.2 Коэффициент корреляции знаков Фехнера
Определение 8 Коэффициент корреляции знаков Фехнера определяется формулой \[ I = \frac{C-H}{C + H}, \] где \(C\) – число пар, у которых знаки отклонений значений от их средних совпадают, \(H\) – число пар, у которых знаки отклонений значений от их средних не совпадают.