Mínimos quadrados generalizados: dos coeficientes de regressão aos coeficientes de correlação?

10

Para mínimos quadrados com um preditor:

y=βx+ϵ

Se e y forem padronizados antes do ajuste (ou seja, N ( 0 , 1 ) ), então:xyN(0 0,1 1)

  • é o mesmo que o coeficiente de correlação de Pearson, r .βr
  • é o mesmo na regressão refletida: x = β y + ϵβx=βy+ϵ

Para mínimos quadrados generalizados (GLS), o mesmo se aplica? Ou seja, se eu padronizar meus dados, posso obter coeficientes de correlação diretamente dos coeficientes de regressão?

Ao experimentar dados, o GLS refletido leva a diferentes coeficientes e também não tenho certeza de que acredito que os coeficientes de regressão se ajustem aos meus valores esperados para correlação. Eu sei que as pessoas citam os coeficientes de correlação GLS, então eu estou me perguntando como eles chegam a eles e, portanto, o que eles realmente significam?β

sqrt
fonte

Respostas:

4

A resposta é sim, os coeficientes de regressão linear são as correlações dos preditores com a resposta, mas apenas se você usar o sistema de coordenadas correto .

Para entender o que quero dizer, lembre-se de que se e y estiverem centralizados e padronizados, a correlação entre cada x i e y será apenas o produto escalar x t i y . Além disso, a solução de mínimos quadrados para regressão linear éx1 1,x2,,xnyxEuyxEuty

β=(XtX)-1 1Xty

Se acontecer que (a matriz de identidade), entãoXtX=Eu

β=Xty

e recuperamos o vetor de correlação. Muitas vezes, é atraente para reformular um problema de regressão em termos de preditores que satisfazem ~ X t ~ X = I por encontrar combinações lineares apropriadas dos preditores originais que fazem essa relação verdadeira (ou equivalentemente, uma mudança linear de coordenadas); esses novos preditores são chamados de componentes principais.x~EuX~tX~=Eu

Portanto, no geral, a resposta para sua pergunta é sim, mas apenas quando os preditores não estão correlacionados . Caso contrário, a expressão

XtXβ=Xty

mostra que os betas devem ser misturados com as correlações entre os preditores para recuperar as correlações preditor-resposta.

x

x0 0tx=EuxEu=0 0

x0 0XXtX=Eu

Matthew Drury
fonte