Por que entre duas variáveis representa a proporção da variação compartilhada?

Em primeiro lugar, entendo que as discussões sobre geralmente provocam explicações sobre (isto é, o coeficiente de determinação em regressão). O problema que estou procurando responder é generalizar isso para todas as instâncias de correlação entre duas variáveis. $r^2$ $R^2$

Então, fiquei intrigado com a variação compartilhada por um bom tempo. Recebi algumas explicações, mas todas parecem problemáticas:

É apenas mais um termo para covariância. Não pode ser esse o caso, pois a literatura de análise fatorial diferencia entre PCA e EFA, afirmando que o último é responsável pela variação compartilhada e o primeiro (o PCA obviamente é responsável pela covariância, pois está operando sobre uma matriz de covariância, portanto, compartilhada variação deve ser um conceito distinto).
É o coeficiente de correlação ao quadrado ( ). Vejo: $r^2$
- http://www.philender.com/courses/linearmodels/notes1/var1.html ou
- http://www.strath.ac.uk/aer/materials/4dataanalysisineducationalresearch/unit6/correlationcoefficient/

Isso faz um pouco mais de sentido. O problema aqui é interpretar como isso implica em uma variação compartilhada. Por exemplo, uma interpretação de 'compartilhamento de variação' é . não se reduz a isso, ou mesmo um conceito prontamente intuitivo [ ; que é um objeto tridimensional]. ${\rm cov}(A,B)/[{\rm var}(A)+{\rm var}(B)]$ $r^2$ ${\rm cov}(A,B)^2/({\rm var}(A)\times{\rm var}(B))$

Os links acima tentam explicá-lo através de um diagrama de Ballentine. Eles não ajudam. Em primeiro lugar, os círculos têm o mesmo tamanho (o que parece ser importante para a ilustração por algum motivo), o que não leva em consideração variações desiguais. Pode-se supor que são os diagramas de Ballentine para as variáveis padronizadas, portanto, variância igual; nesse caso, o segmento sobreposto seria responsável pela covariância entre duas variáveis padronizadas (a correlação). Então , não . $r$ $r^2$

TL; DR: explicações sobre variação compartilhada dizem o seguinte:

Ao quadrar o coeficiente, você sabe quanta variação, em termos percentuais, as duas variáveis compartilham.

Por que seria esse o caso?

correlation variance covariance r-squared Sue Doh Nimh
fonte

Ambos os pontos ("covariância" e "r ao quadrado") são interpretações corretas. Eu recomendo a você esta minha resposta: é o produto de duas magnitudes relativas da covariância e é uma probabilidade quase conjunta.

r^{2}

$r^2$

ttnphns

No EFA, eles costumam dizer "variação comum", não "variação compartilhada". A variação comum é o domínio da colinearidade total. Por outro lado, o termo "variação compartilhada" não está totalmente definido (sua pergunta é sobre como defini-lo).

ttnphns

Os diagramas de Venn (Ballentine) falham em relacionar adequadamente o conceito de porque a magnitude da covariância não é a área de interseção dos dois círculos (variações). A covariância depende de ambas as variações. O tamanho da covariância pode ser maior que o tamanho da variação menor (o que certamente é impossível de mostrar em Venn por interseção).

r^{2}

$r^2$

ttnphns

Isso nos leva de volta à definição regressiva de como . Então, se a situação é homocedástico você pode ver facilmente a si mesmo ...

r^{2}

$r^2$

1 - S S r e s i d / S S t o t

$1-SSresid/SStot$

ttnphns

Covariância é "variação compartilhada", magnitude bruta de if. Normalizado para uma magnitude relativa, pode ser de duas versões, re er-sq. r-sq pode ser interpretado como% da variação compartilhada na variação combinada.

ttnphns

Só podemos adivinhar o que um autor em particular pode significar por "variação compartilhada". Podemos esperar circunscrever as possibilidades considerando quais propriedades esse conceito deve (intuitivamente) ter. Sabemos que "variações adicionam": a variação de uma soma é a soma das variações de e quando e têm covariância zero. É natural para definir a "variância compartilhada" de com a soma a ser a fração da variância da soma representado pela variação do . Isso é suficiente para implicar as variações compartilhadas de quaisquer duas variáveis aleatórias $X+\varepsilon$ $X$ $\varepsilon$ $X$ $\varepsilon$ $X$ $X$ $X$ e deve ser o quadrado do seu coeficiente de correlação. $Y$

Esse resultado dá sentido à interpretação de um coeficiente de correlação ao quadrado como uma "variação compartilhada": em um sentido adequado, é realmente uma fração da variação total que pode ser atribuída a uma variável na soma.

Os detalhes a seguir.

Princípios e suas implicações

É claro que se , sua "variação compartilhada" (vamos chamá-la de "SV" a partir de agora) deve ser 100%. Mas e se e forem apenas versões em escala ou deslocadas uma da outra? Por exemplo, e se representar a temperatura de uma cidade em graus F e representar a temperatura em graus C? Gostaria de sugerir que, nesses casos, e ainda devam ter 100% de SV, para que esse conceito permaneça significativo, independentemente de como e possam ser medidos: $Y=X$ $Y$ $X$ $Y$ $X$ $X$ $Y$ $X$ $Y$

\begin{matrix} (1) & SV (α + β X, γ + δ Y) = SV (X, Y) \end{matrix}

$\operatorname{SV}(\alpha + \beta X, \gamma + \delta Y) = \operatorname{SV}(X,Y)\tag{1}$

para quaisquer números e números diferentes de zero . $\alpha, \gamma$ $\beta, \delta$

Outro princípio pode ser que, quando é uma variável aleatória independente de , a variação de pode ser decomposta exclusivamente em duas partes não negativas, $\varepsilon$ $X$ $X+\varepsilon$

Var (X + ε) = Var (X) + Var (ε),

$\operatorname{Var}(X+\varepsilon) = \operatorname{Var}(X) + \operatorname{Var}(\varepsilon),$

sugerindo que tentamos definir SV neste caso especial como

\begin{matrix} (2) & SV (X, X + ε) = \frac{Var (X)}{Var (X) + Var (ϵ)} . \end{matrix}

$\operatorname{SV}(X, X+\varepsilon) = \frac{\operatorname{Var}(X)}{\operatorname{Var}(X) + \operatorname{Var}(\epsilon)}.\tag{2}$

Como todos esses critérios são apenas de segunda ordem - eles envolvem apenas o primeiro e o segundo momentos das variáveis nas formas de expectativas e variações - a exigência de que e sejam independentes e exijam apenas que não sejam correlacionados . Isso tornará a análise muito mais geral do que poderia ser. $X$ $\varepsilon$

Os resultados

Esses princípios - se você os aceitar - levam a um conceito único, familiar e interpretável. O truque será reduzir o caso geral ao caso especial de uma soma, onde podemos aplicar a definição . $(2)$

Dado , simplesmente tentamos decompor em uma versão em escala e deslocada de mais uma variável não correlacionada com : ou seja, vamos encontrar (se possível) constantes e $(X,Y)$ $Y$ $X$ $X$ $\alpha$ $\beta$ e uma variável aleatória para o qual $\epsilon$

\begin{matrix} (3) & Y = α + β X + ε \end{matrix}

$Y = \alpha + \beta X + \varepsilon\tag{3}$

com . Para que a decomposição tenha alguma chance de ser única, devemos exigir $\operatorname{Cov}(X, \varepsilon)=0$

E [ε] = 0

$\mathbb{E}[\varepsilon]=0$

para que, uma vez encontrado , seja determinado por $\beta$ $\alpha$

α = E [Y] - β E [X] .

$\alpha = \mathbb{E}[Y] - \beta\, \mathbb{E}[X].$

Isso se parece muito com regressão linear e, de fato, é. O primeiro princípio diz que podemos redimensionar e para ter variação unitária (supondo que cada um tenha variação diferente de zero) e que, quando isso for feito, os resultados da regressão padrão afirmem que o valor de em é a correlação de e : $X$ $Y$ $\beta$ $(3)$ $X$ $Y$

\begin{matrix} (4) & β = ρ (X, Y) . \end{matrix}

$\beta = \rho(X,Y)\tag{4}.$

Além disso, tomar as variações de dá $(1)$

1 = Var (Y) = β^{2} Var (X) + Var (ε) = β^{2} + Var (ε),

$1 = \operatorname{Var}(Y) = \beta^2 \operatorname{Var}(X) + \operatorname{Var}(\varepsilon) = \beta^2 + \operatorname{Var}(\varepsilon),$

implicando

\begin{matrix} (5) & Var (ε) = 1 - β^{2} = 1 - ρ^{2} . \end{matrix}

$\operatorname{Var}(\varepsilon) = 1-\beta^2 = 1-\rho^2.\tag{5}$

Consequentemente

\begin{aligned} SV (X, Y) & = SV (X, α + β X + ε) & (Model 3) \\ = SV (β X, β X + ε) & (Property 1) \\ = \frac{Var (β X)}{Var (β X) + Var (ϵ)} & (Definition 2) \\ = \frac{β^{2}}{β^{2} + (1 - β^{2})} = β^{2} & (Result 5) \\ = ρ^{2} & (Relation 4) . \end{aligned}

$\eqalign{ \operatorname{SV}(X,Y) &= \operatorname{SV}(X, \alpha+\beta X + \varepsilon) &\text{(Model 3)}\\ &= \operatorname{SV}(\beta X, \beta X + \varepsilon) &\text{(Property 1)}\\ &= \frac{\operatorname{Var}(\beta X)}{\operatorname{Var}(\beta X) + \operatorname{Var}(\epsilon)} & \text{(Definition 2)}\\ &= \frac{\beta^2}{\beta^2 + (1-\beta^2)} = \beta^2 &\text{(Result 5)}\\ & = \rho^2 &\text{(Relation 4)}. }$

$Y$ $\rho(Y,X)=\rho(X,Y)$ $X$ $Y$

SV (X, Y) = ρ (X, Y)^{2} = ρ (Y, X)^{2} = SV (Y, X) .

$\operatorname{SV}(X,Y) = \rho(X,Y)^2 = \rho(Y,X)^2 = \operatorname{SV}(Y,X).$

whuber
fonte

Por que entre duas variáveis ​​representa a proporção da variação compartilhada?

Respostas:

Princípios e suas implicações

Os resultados

Por que entre duas variáveis representa a proporção da variação compartilhada?