A equivalência da correlação amostral e estatística R para regressão linear simples

É frequentemente afirmado que o quadrado da correlação da amostra é equivalente ao coeficiente de determinação para regressão linear simples. Eu mesmo não consegui demonstrar isso e gostaria de ter uma prova completa desse fato.$r^2$$R^2$

Parece haver alguma variação na notação: em uma regressão linear simples, eu geralmente vistos a frase "coeficiente de correlação amostra" com símbolo como uma referência para a correlação entre os valores observados e valores. Esta é a notação que adotei para esta resposta. Também vi a mesma frase e símbolo usados ​​para se referir à correlação entre observado e ajustado ; na minha resposta eu me referi a isso como o "coeficiente de correlação múltipla" e usou o símbolo . Esta resposta aborda por que o coeficiente de determinação é o quadrado de também o quadrado dex y y y R R $r$$x$$y$$y$$\hat y$$R$$r$$R$, portanto, não importa qual uso foi planejado.

O resultado segue uma linha da álgebra quando alguns fatos simples sobre correlação e o significado de são estabelecidos; portanto, você pode preferir pular para a equação em caixa. Presumo que não precisamos provar propriedades básicas de covariância e variância, em particular:$r^2$$R$

$$\text{Cov}(aX+b, Y) = a\text{Cov}(X,Y)$$ $$\text{Var}(aX+b) = a^2\text{Var}(X)$$

Observe que o último pode ser derivado do primeiro, uma vez que sabemos que a covariância é simétrica e que . A partir daqui, derivamos outro fato básico, sobre correlação. Para , e desde que e tenham variações diferentes de zero,a ≠ 0 X $\text{Var}(X)= \text{Cov}(X,X)$$a \neq 0$$X$$Y$

$$\begin{align} \text{Cor}(aX+b, Y) &= \frac{\text{Cov}(aX+b, Y)}{\sqrt{\text{Var}(aX+b) \text{Var} (Y)}} \\ &= \frac{a}{\sqrt{a^2}} \times \frac{\text{Cov}(X, Y)}{\sqrt{\text{Var}(X) \text{Var} (Y)}} \\ \text{Cor}(aX+b, Y) &= \text{sgn}(a) \, \text{Cor}(X,Y) \end{align}$$

Aqui é a referência ou função de sinal : seu valor é se e se . Também é verdade que se , mas esse caso não nos interessa: seria uma constante, então em o denominador e não podemos calcular a correlação. Argumentos de simetria vamos generalizar esse resultado, para :sgn ( a ) = + 1 a > 0 sgn ( a ) = - 1 a < 0 sgn ( a ) = 0 a = 0 a X + b Var ( a X + b ) = 0 a $\text{sgn}(a)$$\text{sgn}(a) = +1$$a>0$$\text{sgn}(a) = -1$$a<0$$\text{sgn}(a) = 0$$a=0$$aX+b$$\text{Var}(aX+b) = 0$$a, \, c \neq 0$

$$\text{Cor}(aX+b, \, cY+d) = \text{sgn}(a) \, \text{sgn}(c) \, \text{Cor}(X,Y)$$

Não precisaremos dessa fórmula mais geral para responder à pergunta atual, mas a incluo para enfatizar a geometria da situação: ela simplesmente afirma que a correlação permanece inalterada quando uma variável é dimensionada ou traduzida, mas reverte o sinal quando uma variável é refletido.

Precisamos de mais um facto: de um modelo linear incluindo um termo constante, o coeficiente de determinação é o quadrado do múltiplo coeficiente de correlação , que representa a correlação entre as respostas observadas e valores equipada do modelo . Isto aplica-se tanto para múltipla e regressões simples, mas vamos restringir nossa atenção para o simples modelo linear de . O resultado segue a observação de que é uma versão em escala, possivelmente refletida e traduzida do : R Y Y Y = β 0 + β 1 X Y$R^2$$R$$Y$$\hat Y$$\hat Y = \hat \beta_0 + \hat \beta_1 X$$\hat Y$$X$

$$\boxed{R = \text{Cor}(\hat Y, Y) = \text{Cor}(\hat \beta_0 + \hat \beta_1 X, \, Y) = \text{sgn}(\hat \beta_1) \, \text{Cor}(X, Y) = \text{sgn}(\hat \beta_1) \, r}$$

Então onde o sinal corresponde ao sinal da inclinação estimada, o que garante que não seja negativo. Claramente .R R 2 = R $R = \pm r$$R$$R^2 = r^2$

O argumento anterior foi simplificado por não ter que considerar somas de quadrados. Para conseguir isso, pulei os detalhes da relação entre , na qual normalmente pensamos em termos de soma de quadrados, e , na qual pensamos em correlações de respostas ajustadas e observadas. Os símbolos fazem a relação parecer tautológica, mas esse não é o caso, e a relação se decompõe se não houver um termo de interceptação no modelo! Vou fazer um breve esboço de um argumento geométrico sobre a relação entre e tirada de uma pergunta diferente : o diagrama é desenhado no espaço sujeito dimensional R R 2 = ( R ) 2 R R 2 n X 1 $R^2$$R$$R^2 = (R)^2$$R$$R^2$$n$, então cada eixo (não mostrado) representa uma única unidade de observação e as variáveis ​​são mostradas como vetores. As colunas da matriz de design são o vetor (para o termo constante) e o vetor de observações da variável explicativa; portanto, o espaço da coluna é um plano bidimensional.$\mathbf{X}$$\mathbf{1_n}$

O ajustado é a projeção ortogonal do observado no espaço da coluna de . Isso significa que o vetor de resíduos é perpendicular ao plano e, portanto, a . O produto escalar é . Como os resíduos somam zero e , então modo que as respostas ajustadas e observadas tem média . As linhas tracejadas no diagrama, e YXe=y$\mathbf{\hat{Y}}$$\mathbf{Y}$$\mathbf{X}$ 1n0=1N⋅e=Σ n i = 1 eiYi= ^ Y i +eiΣ n i $\mathbf{e} = \mathbf{y} - \mathbf{\hat{y}}$$\mathbf{1_n}$$0 = \mathbf{1_n} \cdot \mathbf{e} = \sum_{i=1}^n e_i$$Y_i = \hat{Y_i} + e_i$ ˉ Y Y- ˉ Y 1N$\sum_{i=1}^n Y_i = \sum_{i=1}^n \hat{Y_i}$$\bar{Y}$$\mathbf{Y} - \bar{Y}\mathbf{1_n}$ θ $\mathbf{\hat{Y}} - \bar{Y}\mathbf{1_n}$ , são, por conseguinte, as centradas vectores para as respostas observadas e embutidos, e o co-seno do ângulo entre eles é a sua correlação .$\theta$$R$

O triângulo que esses vetores formam com o vetor de resíduos é angular, pois fica no plano, mas é ortogonal a ele. Aplicando Pitágoras:$\mathbf{\hat{Y}} - \bar{Y}\mathbf{1_n}$$\mathbf{e}$

$$\|\mathbf{Y} - \bar{Y}\mathbf{1_n}\|^2 = \|\mathbf{Y} - \mathbf{\hat{Y}}\|^2 + \|\mathbf{\hat{Y}} - \bar{Y}\mathbf{1_n}\|^2$$

Esta é apenas a decomposição da soma dos quadrados, . A fórmula convencional para o coeficiente de determinação é que neste triângulo é modo é de facto o quadrado de . Você pode estar mais familiarizado com a fórmula , que fornece imediatamente , mas observe que é mais geral e (como acabamos de ver) reduzirá para 1 - S S $SS_{\text{total}} = SS_{\text{residual}} + SS_{\text{regression}}$ 1-sin2θ=cos2θRR2=SS$1 - \frac{SS_{\text{residual}}}{SS_{\text{total}}}$$1 - \sin^2 \theta = \cos^2 \theta$$R$ cos2θ1-SS$R^2 = \frac{SS_{\text{regression}}}{SS_{\text{total}}}$$\cos^2 \theta$ SS$1 - \frac{SS_{\text{residual}}}{SS_{\text{total}}}$$\frac{SS_{\text{regression}}}{SS_{\text{total}}}$ se um termo constante for incluído no modelo .

O é definido como O coeficiente de correlação da amostra ao quadrado: é equivalente, pois é facilmente verificado usando: (ver Verbeek , §2.4)R 2 = V ( y i$R^2$ r2(yi, y i)

$$R^2=\frac{\hat{V}(\hat{y}_i)}{\hat{V}(y_i)} =\frac{1/(N-1)\sum_{i=1}^N(\hat{y}_i-\bar{y})^2}{1/(N-1)\sum_{i=1}^N(y_i-\bar{y})^2}=\frac{ESS}{TSS}$$ V(yi)=V( y i)+V(ei $$r^2(y_i,\hat{y}_i)=\frac{\left(\sum_{i=1}^N(y_i-\bar{y})(\hat{y}_i-\bar{y})\right)^2}{\left(\sum_{i=1}^N(y_i-\bar{y})^2\right)\left(\sum_{i=1}^N(\hat y_i-\bar{y})^2\right)}$$ $$\hat V(y_i)=\hat V(\hat y_i)+\hat V(e_i)$$