Como a soma de duas variáveis ​​explica mais variação do que as variáveis ​​individuais?

Estou obtendo alguns resultados desconcertantes para a correlação de uma soma com uma terceira variável quando os dois preditores estão correlacionados negativamente. O que está causando esses resultados desconcertantes?

Exemplo 1: Correlação entre a soma de duas variáveis ​​e uma terceira variável

Considere a fórmula 16.23 na página 427 do texto de Guildford de 1965, mostrado abaixo.

Descoberta desconcertante: se ambas as variáveis ​​se correlacionam .2 com a terceira variável e -.7 entre si, a fórmula resulta em um valor de .52. Como a correlação do total com a terceira variável pode ser 0,52 se as duas variáveis ​​correlacionam apenas 0,2 com a terceira variável?

Exemplo 2: Qual é a correlação múltipla entre duas variáveis ​​e uma terceira variável?

Considere a fórmula 16.1 na página 404 do texto de Guildford em 1965 (mostrado abaixo).

Descoberta desconcertante: A mesma situação. Se ambas as variáveis ​​se correlacionarem .2 com a terceira variável e -.7 entre si, a fórmula resultará em um valor de .52. Como a correlação do total com a terceira variável pode ser 0,52 se as duas variáveis ​​correlacionam apenas 0,2 com a terceira variável?

Tentei uma rápida simulação de Monte Carlo e ela confirma os resultados das fórmulas de Guilford.

Mas se os dois preditores preveem 4% da variância da terceira variável, como uma soma deles pode prever 1/4 da variância?

Fonte: Estatística Fundamental em Psicologia e Educação, 4ª ed., 1965.

ESCLARECIMENTO

A situação com a qual estou lidando envolve prever o desempenho futuro de cada pessoa com base na avaliação de suas habilidades agora.

Os dois diagramas de Venn abaixo mostram minha compreensão da situação e devem esclarecer minha perplexidade.

Esse diagrama de Venn (Fig. 1) reflete a ordem zero r = 0,2 entre x1 e C. No meu campo, existem muitas variáveis ​​preditivas que modestamente prevêem um critério.

Este diagrama de Venn (Fig. 2) reflete dois desses preditores, x1 e x2, cada um prevendo C em r = 0,2 e os dois preditores correlacionados negativamente, r = - .7.

Não consigo imaginar uma relação entre os dois preditores r = 0,2 que os levariam juntos a prever 25% da variação de C.

Busco ajuda para entender a relação entre x1, x2 e C.

Se (como sugerido por alguns em resposta à minha pergunta) x2 atua como uma variável supressora para x1, que área no segundo diagrama de Venn está sendo suprimida?

Se um exemplo concreto for útil, podemos considerar x1 e x2 como duas habilidades humanas e C como um GPA de 4 anos na faculdade, 4 anos depois.

Estou tendo problemas para imaginar como uma variável supressora poderia fazer com que a variação explicada de 8% dos dois r = 0,2 ordem zero rs aumentasse e explicasse 25% da variação de C. Um exemplo concreto seria uma resposta muito útil.

Isso pode acontecer quando os dois preditores contêm um grande fator de incômodo, mas com sinal oposto; portanto, quando você os adiciona, o incômodo é cancelado e você obtém algo muito mais próximo da terceira variável.

Vamos ilustrar com um exemplo ainda mais extremo. Suponha que são variáveis ​​aleatórias normais padrão independentes. Agora deixe$X, Y \sim N(0,1)$

$A = X$

$B = -X + 0.00001Y$

Digamos que seja sua terceira variável, A , B são seus dois preditores e X é uma variável latente sobre a qual você não conhece nada. A correlação de A com Y é 0 e a correlação de B com Y é muito pequena, próxima de 0,00001. * Mas a correlação de$Y$$A, B$$X$ com Y é 1.$A+B$$Y$

* Há uma pequena correção minúscula para o desvio padrão de B ser um pouco mais que 1.

Pode ser útil conceber as três variáveis ​​como sendo combinações lineares de outras variáveis ​​não correlacionadas. Para melhorar nossa visão, podemos descrevê-los geometricamente, trabalhar com eles algebricamente e fornecer descrições estatísticas como quisermos.

Considere-se, em seguida, três não correlacionado zero-média-variáveis unidade de desvio , Y , e Z . A partir disso, construa o seguinte:$X$$Y$$Z$

$$U = X,\quad V = (- 7 X + \sqrt{51}Y )/10;\quad W=(\sqrt{3} X + \sqrt{17} Y + \sqrt{55}Z)/\sqrt{75}.$$

Explicação geométrica

O gráfico a seguir é sobre tudo o que você precisa para entender os relacionamentos entre essas variáveis.

Este diagrama pseudo-3D mostra , V , W e U + V no sistema de coordenadas X , Y , Z. Os ângulos entre os vetores refletem suas correlações (os coeficientes de correlação são os cossenos dos ângulos). A grande correlação negativa entre U e V é refletida no ângulo obtuso entre eles. As pequenas correlações positivas de U e V com W são refletidas por sua quase perpendicularidade. No entanto, a soma de U e V cai diretamente abaixo de $U$$V$$W$$U+V$$X,Y,Z$$U$$V$$U$$V$$W$$U$$V$$W$, fazendo um ângulo agudo (cerca de 45 graus): existe uma correlação positiva inesperadamente alta.

---

Cálculos Algébricos

Para aqueles que desejam mais rigor, aqui está a álgebra para fazer backup da geometria no gráfico.

Todas essas raízes quadradas estão aí para fazer , V e W também apresentarem variações de unidade: isso facilita a computação de suas correlações, porque as correlações serão iguais às covariâncias. Portanto$U$$V$$W$

$$\operatorname{Cor}(U, V) = \operatorname{Cov}(U,V) = \mathbb{E}(UV) = \mathbb{E}(\sqrt{51}XY- 7 X^2)/10 = -7/10 = -0.7$$

porque e Y não estão correlacionados. Similarmente,$X$$Y$

$$\operatorname{Cor}(U,W) = \sqrt{3/75} = 1/5 = 0.2$$

e

$$\operatorname{Cor}(V,W) = (-7\sqrt{3} + \sqrt{15}\sqrt{17})/(10\sqrt{75}) = 1/5 = 0.2.$$

Finalmente,

$$\operatorname{Cor}(U+V,W) = \frac{\operatorname{Cov}(U+V,W)}{\sqrt{\operatorname{Var}(U+V)\operatorname{Var}(W)}} = \frac{1/5 + 1/5}{\sqrt{\operatorname{Var}(U) + \operatorname{Var}(V) + 2\operatorname{Cov}(U,V)}} = \frac{2/5}{\sqrt{1 + 1 - 2(7/10)}} = \frac{2/5}{\sqrt{3/5}}\approx 0.5164.$$

Consequentemente, essas três variáveis ​​têm as correlações desejadas.

---

Explicação estatística

Agora podemos ver por que tudo funciona da seguinte maneira:

• e V têm uma forte correlação negativa de - 7 / 10 porque V é proporcional ao negativo de L , mais um pouco "barulho" sob a forma de um pequeno múltiplo de Y .$U$$V$$-7/10$$V$$U$$Y$

• e W têm fraca correlação positiva de 1 / 5 porque W inclui um pequeno múltiplo de L mais um lote de ruído na forma de múltiplos de Y e Z .$U$$W$$1/5$$W$$U$$Y$$Z$

• e W têm fraca correlação positiva de 1 / 5 porque W (quando multiplicado por$V$$W$$1/5$$W$ , que não altera nenhuma correlação) é a soma de três coisas:$\sqrt{75}$

  • , que está positivamente correlacionado comV;$\sqrt{17}Y$$V$
  • , cujacorrelaçãonegativacomVreduz a correlação geral;$-\sqrt{3}X$$V$
  • e um múltiplo de que introduz muito ruído.$Z$

• No entanto, é, em vez positivamente correlacionada comW, porque ele é um múltiplo da referida parte deWque não incluiZ.$U+V = (3X + \sqrt{51}Y)/10 = \sqrt{3/100}(\sqrt{3}X + \sqrt{17}Y)$$W$$W$$Z$

Outro exemplo simples:

• Seja $z \sim \mathcal{N}(0,1)$
• Seja $x_1 \sim \mathcal{N}(0,1)$
• $x_2 = z - x_1$$z = x_1 + x_2$ )

Então:

• $\mathrm{Corr}(z, x_1) = 0$
• $\mathrm{Corr}(z, x_2) \approx .7$
• $\mathrm{Corr}(z, x_1 + x_2) = 1$

Geometricamente, o que está acontecendo é como no gráfico do WHuber. Conceitualmente, pode ser algo como isto:

$E[XY]$

$x_1$$z$$\theta$

• $\mathrm{Corr}(z, x_1) = \cos \theta_{zx_1} = 0 \quad \quad \theta_{z,x_1} = \frac{\pi}{2}$
• $\mathrm{Corr}(z, x_2) = \cos \theta_{zx_2} \approx .7 \quad \quad \theta_{z,x_2} = \frac{\pi}{4}$
• $\mathrm{Corr}(z, x_1 + x_2) = \cos \theta_{z,x_1+x_2} = 1 \quad \quad \theta_{z, x_1 + x_2} = 0$

To connect to the discussion in the comments Flounderer's answer, think of $z$ as some signal, $-x_1$ as some noise, and noisy signal $x_2$ as the sum of signal $z$ and noise $-x_1$. Adding $x_1$ to $x_2$ is equivalent to subtracting noise $-x_1$ from the noisy signal $x_2$.

Addressing your comment:

Despite the math, I still do not see the logic of the sum of two variables explaining 25+% of the variance of a third variable when each off the two variables that go into the sum predict but 4% of the variance of that third variable. How can 8% explained variance become 25% explained variance just by adding the two variables?

The issue here seems to be the terminology "variance explained". Like a lot of terms in statistics, this has been chosen to make it sound like it means more than it really does.

Here's a simple numerical example. Suppose some variable $Y$ has the values

$$y = (6, 7, 4, 8, 9, 6, 6, 3, 5, 10)$$

and $U$ is a small multiple of $Y$ plus some error $R$. Let's say the values of $R$ are much larger than the values of $Y$.

$$r = (-20, -80, 100, 90, 50, 70, 40, 30, 40, 60)$$

and $U = R + 0.1Y$, so that

$$u = (-19.4, -79.3, 100.4, 90.8, 50.9, 70.6, 40.6, 30.3, 40.5, 61.0)$$

and suppose another variable $V=-R+0.1Y$ so that

$$v = (20.6, 80.7, -99.6, -89.2, -49.1, -69.4, -39.4, -29.7, -39.5, -59.0)$$

Then both $U$ and $V$ have very small correlation with $Y$, but if you add them together then the $r$'s cancel and you get exactly $0.2Y$, which is perfectly correlated with $Y$.

In terms of variance explained, this makes perfect sense. $Y$ explains a very small proportion of the variance in $U$ because most of the variance in $U$ is due to $R$. Similarly, most of the variance in $V$ is due to $R$. But $Y$ explains all of the variance in $U+V$. Here is a plot of each variable:

However, when you try to use the term "variance explained" in the other direction, it becomes confusing. This is because saying that something "explains" something else is a one-way relationship (with a strong hint of causation). In everyday language, $A$ can explain $B$ without $B$ explaining $A$. Textbook authors seem to have borrowed the term "explain" to talk about correlation, in the hope that people won't realise that sharing a variance component isn't really the same as "explaining".