Analogia da correlação de Pearson para 3 variáveis

Estou interessado em saber se uma "correlação" de três variáveis ​​é alguma coisa e, se for o que, isso seria?

Coeficiente de correlação do momento do produto Pearson

Agora a pergunta para 3 variáveis: É

qualquer coisa?

Em R parece algo interpretável:

> a <- rnorm(100); b <- rnorm(100); c <- rnorm(100)
> mean((a-mean(a)) * (b-mean(b)) * (c-mean(c))) / (sd(a) * sd(b) * sd(c))
[1] -0.3476942

Normalmente, observamos a correlação entre duas variáveis, dado o valor fixo de uma terceira variável. Alguém poderia esclarecer?

Ele é realmente algo. Para descobrir, precisamos examinar o que sabemos sobre a própria correlação.

1. A matriz de correlação de uma variável aleatória vector é a variância-covariância matriz, ou simplesmente "variância," da versão padronizada de X . Ou seja, cada X i é substituído por sua versão recente e redimensionada.$\mathbf{X}=(X_1,X_2,\ldots,X_p)$$\mathbf{X}$$X_i$

2. A covariância de e X j é a expectativa do produto de suas versões centralizadas. Ou seja, escrevendo X ′ i = X i - E [ X i ] e X ′ j = X j - E [ X j ] , temos$X_i$$X_j$$X^\prime_i = X_i - E[X_i]$$X^\prime_j = X_j - E[X_j]$

   $$\operatorname{Cov}(X_i,X_j) = E[X^\prime_i X^\prime_j].$$

3. A variação de , que escreverei Var ( X ) , não é um número único. É a matriz de valores Var ( X ) i j = Cov ( X i , X j ) $\mathbf{X}$$\operatorname{Var}(\mathbf{X})$

   $$\operatorname{Var}(\mathbf{X})_{ij}=\operatorname{Cov}(X_i,X_j).$$

4. A maneira de pensar na covariância para a generalização pretendida é considerá-la um tensor . Isso significa que é uma colecção completa de quantidades , indexado por i e j vão desde 1 através de P , cujos valores de mudar de uma forma previsível particularmente simples quando X sofre uma transformação linear. Especificamente, seja Y = ( Y 1 , Y 2 , … , Y q ) outra variável aleatória com valor vetorial definida por$v_{ij}$$i$$j$$1$$p$$\mathbf{X}$$\mathbf{Y}=(Y_1,Y_2,\ldots,Y_q)$

   $$Y_i = \sum_{j=1}^p a_i^{\,j}X_j.$$

   As constantes (iejsãoíndices-jnão é uma potência) formam umamatrizq×pA=($a_i^{\,j}$$i$$j$$j$$q\times p$,j=1,…,pei=1,…,q. A linearidade da expectativa implica$\mathbb{A} = (a_i^{\,j})$$j=1,\ldots, p$$i=1,\ldots, q$

   $$\operatorname{Var}(\mathbf Y)_{ij} = \sum a_i^{\,k}a_j^{\,l}\operatorname{Var}(\mathbf X)_{kl} .$$

   Na notação matricial,

   $$\operatorname{Var}(\mathbf Y) = \mathbb{A}\operatorname{Var}(\mathbf X) \mathbb{A}^\prime .$$

5. Todos os componentes de são na verdade variações univariadas, devido à identidade de polarização$\operatorname{Var}(\mathbf{X})$

   $$4\operatorname{Cov}(X_i,X_j) = \operatorname{Var}(X_i+X_j) - \operatorname{Var}(X_i-X_j).$$

   Isso nos diz que, se você entende as variações de variáveis ​​aleatórias univariadas, já entende as covariâncias das variáveis ​​bivariadas: elas são "apenas" combinações lineares de variações.

A expressão em questão é perfeitamente análogo: as variáveis foram padronizadas como em ( 1 ) . Podemos entender o que ele representa considerando o que significa para qualquer variável, padronizada ou não. Substituiríamos cada X i por sua versão centralizada, como em ( 2 ) , e formaríamos quantidades com três índices,$X_i$$(1)$$X_i$$(2)$

Estes são os momentos centrais (multivariados) do grau $3$ . Como em , eles formam um tensor: quando Y = A X , então$(4)$$\mathbf{Y} = \mathbb{A}\mathbf{X}$

Os índices nessa soma tripla variam em todas as combinações de números inteiros de a p .$1$$p$

O análogo da identidade de polarização é

No lado direito, refere-se ao terceiro momento central (univariado): o valor esperado do cubo da variável centralizada. Quando as variáveis ​​são padronizadas, esse momento é geralmente chamado de assimetria . Consequentemente, podemos pensar em μ 3 ( X ) como sendo a assimetria multivariada de X . É um tensor da classificação três (ou seja, com três índices) cujos valores são combinações lineares das assimetrias de várias somas e diferenças do X i . Se procurássemos interpretações, pensaríamos nesses componentes como medindo em $\mu_3$$\mu_3(\mathbf{X})$$\mathbf{X}$$X_i$$p$dimensões, independentemente da inclinação que esteja medindo em uma dimensão. Em muitos casos,

• Os primeiros momentos medem a localização de uma distribuição;

• Os segundos momentos (a matriz variância-covariância) medem sua propagação ;

• Os segundos momentos padronizados (as correlações) indicam como a propagação varia no espaço dimensional; e$p$

• Os terceiro e quarto momentos padronizados são usados ​​para medir a forma de uma distribuição em relação à sua propagação.

Para elaborar o significado de uma "forma" multidimensional, observamos que podemos entender o PCA como um mecanismo para reduzir qualquer distribuição multivariada a uma versão padrão localizada na origem e spreads iguais em todas as direções. Depois de APC é realizada, em seguida, proporcionaria os indicadores mais simples da forma multidimensional da distribuição. Essas idéias se aplicam igualmente aos dados e às variáveis ​​aleatórias, porque os dados sempre podem ser analisados ​​em termos de sua distribuição empírica.$\mu_3$

Referência

Alan Stuart & J. Keith Ord, Teoria Avançada de Estatística de Kendall Quinta Edição, Volume 1: Teoria da Distribuição ; Capítulo 3, Momentos e Cumulantes . Oxford University Press (1987).

Apêndice: Prova da identidade de polarização

Seja sejam variáveis ​​algébricas. Existem 2 n maneiras de somar e subtrair todos n deles. Quando levantar cada uma dessas somas-e-diferenças para o n th poder, pegar um sinal adequado para cada um desses resultados, e adicioná-los para cima, vamos obter um múltiplo de x 1 x 2 ⋯ x n .$x_1,\ldots, x_n$$2^n$$n$$n^\text{th}$$x_1x_2\cdots x_n$

Mais formalmente, seja o conjunto de todos os n- pares de ± 1 , de modo que qualquer elemento s ∈ S seja um vetor s = ( s 1 , s 2 , … , s n ) cujo os coeficientes são todos ± 1 . A reivindicação é$S=\{1,-1\}^n$$n$$\pm 1$$s\in S$$s=(s_1,s_2,\ldots,s_n)$$\pm 1$

Com efeito, o Multinomial teorema indica que o coeficiente da monomial (em que o i j são números inteiros não negativos somando a n ) na expansão de qualquer termo no lado da mão direita é$x_1^{i_1}x_2^{i_2}\cdots x_n^{i_n}$$i_j$$n$

Na soma , os coeficientes envolvendo x i 1 1 aparecem em pares, onde um de cada par envolve o caso s 1 = 1 , com coeficiente proporcional s 1 vezes s i 1 1 , igual a 1 e o outro de cada par envolve o caso s 1 = - 1 , com coeficiente proporcional a - 1 vezes ( - 1 ) i 1 , igual a ( - $(1)$$x_1^{i_1}$$s_1=1$$\color{red}{s_1}$$s_1^{i_1}$$1$$s_1=-1$$\color{red}{-1}$$(-1)^{i_1}$ . Eles cancelam na soma sempre que i 1 + 1 é ímpar. O mesmo argumento se aplica a i 2 , … , i n . Consequentemente,as únicas monômios que ocorrem com coeficientes diferentes de zero deve ter poderes ímpares detodoo x i . O único monômio desse tipo é x 1 x 2 ⋯ x n . Aparece com coeficiente ($(-1)^{i_1+1}$$i_1+1$$i_2, \ldots, i_n$$x_i$$x_1x_2\cdots x_n$em todos os2ntermos da soma. Consequentemente, seu coeficiente é2nn! ,QED.$\binom{n}{1,1,\ldots,1}=n!$$2^n$$2^nn!$

Precisamos pegar apenas metade de cada par associado com : ou seja, podemos restringir o lado direito de ( 1 ) aos termos com s 1 = 1 e reduzir pela metade o coeficiente do lado esquerdo para 2 n - 1 n ! . Isso dá precisamente as duas versões do Polarização Identidade citado nesta resposta para os casos n = 2 e n = 3 : 2 2 - 1 2 ! = 4 e 2 3 - $x_1$$(1)$$s_1=1$$2^{n-1}n!$$n=2$$n=3$$2^{2-1}2! = 4$ .$2^{3-1}3!=24$

É claro que a identidade de polarização para variáveis ​​algébricas implica imediatamente para variáveis ​​aleatórias: seja uma variável aleatória x i . Tome expectativas de ambos os lados. O resultado segue pela linearidade da expectativa.$x_i$$X_i$

Hummm. Se corrermos ...

a <- rnorm(100);
b <- rnorm(100);
c <- rnorm(100)
mean((a-mean(a))*(b-mean(b))*(c-mean(c)))/
  (sd(a) * sd(b) * sd(c))

parece centrar-se em 0 (não fiz uma simulação real), mas como @ttnphns faz alusão, executando isso (todas as variáveis ​​são iguais)

a <- rnorm(100)
mean((a-mean(a))*(a-mean(a))*(a-mean(a)))/
  (sd(a) * sd(a) * sd(a))

também parece centrar-se em 0, o que certamente me faz pensar que utilidade isso poderia ter.

Se você precisar calcular a "correlação" entre três ou mais variáveis, não poderá usar o Pearson, pois nesse caso será diferente para diferentes ordens de variáveis, veja aqui . Se você é interessante em dependência linear ou se eles são ajustados pela linha 3D, você pode usar o PCA, obter variância explicada para o primeiro PC, permutar seus dados e encontrar probabilidade, de que esse valor possa ser por razões aleatórias. Eu discuti algo semelhante aqui (consulte Detalhes técnicos abaixo).

Código Matlab

% Simulate our experimental data
x=normrnd(0,1,100,1);
y=2*x.*normrnd(1,0.1,100,1);
z=(-3*x+1.5*y).*normrnd(1,2,100,1);
% perform pca
[loadings, scores,variance]=pca([x,y,z]);
% Observed Explained Variance for first principal component
OEV1=variance(1)/sum(variance)
% perform permutations
permOEV1=[];
for iPermutation=1:1000
    permX=datasample(x,numel(x),'replace',false);
    permY=datasample(y,numel(y),'replace',false);
    permZ=datasample(z,numel(z),'replace',false);
    [loadings, scores,variance]=pca([permX,permY,permZ]);
    permOEV1(end+1)=variance(1)/sum(variance);
end

% Calculate p-value
p_value=sum(permOEV1>=OEV1)/(numel(permOEV1)+1)