Existe uma maneira elegante / perspicaz de entender essa identidade de regressão linear para múltiplos ?

Na regressão linear, encontrei um resultado agradável que, se encaixarmos no modelo

$$E[Y] = \beta_1 X_1 + \beta_2 X_2 + c,$$

então, se padronizarmos e centralizarmos os dados , e ,X 1 X $Y$$X_1$$X_2$

$$R^2 = \mathrm{Cor}(Y,X_1) \beta_1 + \mathrm{Cor}(Y, X_2) \beta_2.$$

Isso me parece uma versão de 2 variáveis ​​de para regressão, o que é agradável. y = m x + $R^2 = \mathrm{Cor}(Y,X)^2$$y=mx+c$

Mas a única prova que conheço não é de forma alguma construtiva ou perspicaz (veja abaixo), e, no entanto, para olhar para ela, parece que deve ser facilmente compreensível.

Exemplos de pensamentos:

• Os e nos fornecem a 'proporção' de e em ; portanto, estamos tomando proporções respectivas de suas correlações ...β 2 X 1 X 2$\beta_1$$\beta_2$$X_1$$X_2$$Y$
• Os s são correlações parciais, é a correlação múltipla ao quadrado ... correlações multiplicadas por correlações parciais ...R $\beta$$R^2$
• Se ortogonalizarmos primeiro, os s serão ... esse resultado faz algum sentido geométrico?C o v / V a $\beta$$\mathrm{Cov}/\mathrm{Var}$

Nenhum desses tópicos parece levar a lugar algum para mim. Alguém pode fornecer uma explicação clara de como entender esse resultado.

---

Prova Insatisfatória

$$\begin{equation} R^2 = \frac{SS_{reg}}{SS_{Tot}} = \frac{SS_{reg}}{N} = \langle(\beta_1 X_1 + \beta_2 X_2)^2\rangle \\= \langle\beta_1^2 X_1^2\rangle + \langle\beta_2^2 X_2^2\rangle + 2\langle\beta_1\beta_2X_1X_2\rangle \end{equation}$$

e

$$\begin{equation} \mathrm{Cor}(Y,X_1) \beta_1 + \mathrm{Cor}(Y, X_2) \beta_2 = \langle YX_1\rangle\beta_1 + \langle Y X_2\rangle \beta_2\\ =\langle \beta_1 X_1^2 + \beta_2 X_1 X_2\rangle \beta_1 + \langle \beta_1 X_1 X_2 + \beta_2 X_2^2\rangle \beta_2\\ =\langle \beta_1^2 X_1^2\rangle + \langle \beta_2^2 X_2^2 \rangle + 2\langle \beta_1 \beta_2 X_1 X_2\rangle \end{equation}$$

QED.

A matriz do chapéu é idempotente.

(Esta é uma maneira algébrica-linear de afirmar que OLS é uma projeção ortogonal do vetor de resposta no espaço estendido pelas variáveis.)

---

Lembre-se de que, por definição

$$R^2 = \frac{ESS}{TSS}$$

Onde

$$ESS = (\hat Y)^\prime \hat Y$$

é a soma dos quadrados dos valores previstos (centralizados) e

$$TSS = Y^\prime Y$$

é a soma dos quadrados dos valores de resposta (centralizados). A padronização prévia de para a variação unitária também implica$Y$

$$TSS = Y^\prime Y = n.$$

Lembre-se, também, que os coeficientes estimados são dados por

$$\hat\beta = (X^\prime X)^{-} X^\prime Y,$$

de onde

$$\hat Y = X \hat \beta = X (X^\prime X)^{-} X^\prime Y = H Y$$

onde é a "matriz chapéu" efectuar a projecção de para os seus mínimos quadrados caber . É simétrico (o que é óbvio por sua própria forma) e idempotente . Aqui está uma prova deste último para aqueles que não estão familiarizados com esse resultado. É apenas embaralhar parênteses em torno de:$H$$Y$$\hat Y$

$$\eqalign{H^\prime H = H H &=\left( X (X^\prime X)^{-} X^\prime\right)\left(X (X^\prime X)^{-} X^\prime \right) \\ &= X (X^\prime X)^{-} \left(X^\prime X \right) (X^\prime X)^{-} X^\prime \\ &= X (X^\prime X)^{-} X^\prime = H. }$$

Portanto

$$R^2 = \frac{ESS}{TSS} = \frac{1}{n} (\hat Y)^\prime \hat Y = \frac{1}{n}Y^\prime H^\prime H Y = \frac{1}{n}Y^\prime H Y = \left(\frac{1}{n}Y^\prime X\right) \hat \beta.$$

O movimento crucial no meio usou a idempotência da matriz do chapéu. O lado direito é a sua fórmula mágica porque é o (linha) de vector de coeficientes de correlação entre e as colunas de .$\frac{1}{n}Y^\prime X$$Y$$X$

As três fórmulas a seguir são bem conhecidas, elas são encontradas em muitos livros sobre regressão linear. Não é difícil derivá-los.

$\beta_1= \frac {r_{YX_1}-r_{YX_2}r_{X_1X_2}} {\sqrt{1-r_{X_1X_2}^2}}$

$\beta_2= \frac {r_{YX_2}-r_{YX_1}r_{X_1X_2}} {\sqrt{1-r_{X_1X_2}^2}}$

$R^2= \frac {r_{YX_1}^2+r_{YX_2}^2-2 r_{YX_1}r_{YX_2}r_{X_1X_2}} {\sqrt{1-r_{X_1X_2}^2}}$

Se você substituir os dois betas em sua equação , obterá a fórmula acima para o quadrado R.$R^2 = r_{YX_1} \beta_1 + r_{YX_2} \beta_2$

---

Aqui está um "insight" geométrico. Abaixo estão duas imagens mostrando a regressão de por e . Esse tipo de representação é conhecido como variáveis ​​como vetores no espaço do assunto ( leia sobre o que se trata). As figuras são desenhadas depois que todas as três variáveis ​​foram centralizadas, e assim (1) o comprimento de cada vetor = st. desvio da respectiva variável e (2) ângulo (seu cosseno) entre cada dois vetores = correlação entre as respectivas variáveis.$Y$$X_1$$X_2$

$\hat{Y}$ é a previsão de regressão (projeção ortogonal de no "plano X"); é o termo do erro; , coeficiente de correlação múltipla.$Y$$e$$cos \angle{Y \hat{Y}}={|\hat Y|}/|Y|$

A figura da esquerda mostra as coordenadas inclinadas de nas variáveis e . Sabemos que essas coordenadas relacionam os coeficientes de regressão. Nomeadamente, as coordenadas são: e .$\hat{Y}$$X_1$$X_2$$b_1|X_1|=b_1\sigma_{X_1}$$b_2|X_2|=b_2\sigma_{X_2}$

E a imagem à direita mostra as coordenadas perpendiculares correspondentes . Sabemos que essas coordenadas relacionam os coeficientes de correlação de ordem zero (estes são cossenos de projeções ortogonais). Se for a correlação entre e e for a correlação entre e , a coordenada será . Da mesma forma para a outra coordenada, .$r_1$$Y$$X_1$$r_1^*$$\hat Y$$X_1$$r_1|Y|=r_1\sigma_{Y} = r_1^*|\hat{Y}|=r_1^*\sigma_{\hat{Y}}$$r_2|Y|=r_2\sigma_{Y} = r_2^*|\hat{Y}|=r_2^*\sigma_{\hat{Y}}$

Até agora, havia explicações gerais da representação vetorial de regressão linear. Agora, voltamos à tarefa para mostrar como ela pode levar a .$R^2 = r_1 \beta_1 + r_2 \beta_2$

Antes de tudo, lembre-se de que, na pergunta deles, @Corone apresentou a condição de que a expressão é verdadeira quando todas as três variáveis ​​são padronizadas , ou seja, não apenas centralizadas, mas também dimensionadas para a variação 1. Então (isto é, implica são as "partes de trabalho" dos vetores), temos coordenadas iguais a: ; ; ; ; bem como. Redesenhe, nessas condições, apenas o "plano X" das figuras acima:$|X_1|=|X_2|=|Y|=1$$b_1|X_1|=\beta_1$$b_2|X_2|=\beta_2$$r_1|Y|=r_1$$r_2|Y|=r_2$$R=|\hat Y|/|Y|=|\hat Y|$

No quadro, que tem um par de coordenadas perpendiculares e um par de coordenadas de inclinação, do mesmo vector de comprimento . Existe uma regra geral para obter coordenadas perpendiculares a partir das inclinadas (ou anteriores): , onde é matriz de coordenadas perpendiculares; é a mesma matriz de tamanho dos enviesados; e são a matriz simétrica de ângulos (cossenos) entre os eixos não-ortogonais.$\hat Y$$R$$\bf P = S C$$\bf P$points X axes$\bf S$$\bf C$axes X axes

$X_1$ e são os eixos no nosso caso, com sendo o cosseno entre eles. Portanto, e .$X_2$$r_{12}$$r_1 = \beta_1 + \beta_2 r_{12}$$r_2 = \beta_1 r_{12} + \beta_2$

Substitua esses s expressos por s na declaração de @ Corone e você obterá que , - o que é verdade , porque é exatamente como uma diagonal de um paralelogramo (pintada na figura) é expressa através de seus lados adjacentes (quantidade sendo o produto escalar).β R 2 = R 1 β 1 + R 2 β 2 R 2 = β 2 1 + β 2 2 + 2 β 1 β 2 R 12 β 1 β 2 r $r$$\beta$$R^2 = r_1 \beta_1 + r_2 \beta_2$$R^2 = \beta_1^2 + \beta_2^2 + 2\beta_1\beta_2r_{12}$ $\beta_1\beta_2r_{12}$

O mesmo se aplica a qualquer número de preditores X. Infelizmente, é impossível desenhar imagens semelhantes com muitos preditores.