Convertendo betas padronizados de volta para variáveis ​​originais

13

Sei que essa é provavelmente uma pergunta muito simples, mas depois de pesquisar não consigo encontrar a resposta que estou procurando.

Eu tenho um problema em que preciso padronizar as variáveis ​​para executar a (regressão de crista) para calcular as estimativas de crista dos betas.

Preciso convertê-las novamente para a escala de variáveis ​​originais.

Mas como eu faço isso?

Encontrei uma fórmula para o caso bivariado que

β=β^SxSy.

Isto foi dado em D. Gujarati, Econometria Básica , página 175, fórmula (6.3.8).

Onde são os estimadores da regressão executada nas variáveis ​​padronizadas e é o mesmo estimador convertido de volta à escala original, é o desvio padrão da amostra do regressando e é o desvio padrão da amostra.* β S y S xββ^SySx

Infelizmente, o livro não cobre o resultado análogo para regressão múltipla.

Também não tenho certeza se entendi o caso bivariado? A manipulação algébrica simples fornece a fórmula para na escala original:β^

β^=βSySx

Parece estranho para mim que o que foi calculado em variáveis ​​que já são desinfladas por , ser desinflado por novamente para ser convertido novamente? (Além disso, por que os valores médios não são adicionados novamente?) SxSxβ^SxSx

Então, alguém pode explicar como fazer isso para um caso multivariado idealmente com uma derivação para que eu possa entender o resultado?

Baz
fonte

Respostas:

25

Para o modelo de regressão usando as variáveis ​​padronizadas, assumimos o seguinte formulário para a linha de regressão

E[Y]=β0+j=1kβjzj,

onde é o j-ésimo regressor (padronizado), gerado a partir de subtraindo a média da amostra e dividindo pelo desvio padrão da amostra : x j ˉ x j S j z j = x j - ˉ x jzjxjx¯jSj

zj=xjx¯jSj

Realizando a regressão com os regressores padronizados, obtemos a linha de regressão ajustada:

Y^=β^0+j=1kβ^jzj

Desejamos agora encontrar os coeficientes de regressão para os preditores não padronizados. Nós temos

Y^=β^0+j=1kβ^j(xjx¯jSj)

Reorganizando, essa expressão pode ser escrita como

Y^=(β^0j=1kβ^jx¯jSj)+j=1k(β^jSj)xj

Como podemos ver, a interceptação para a regressão usando variáveis ​​não transformadas é dada por . O coeficiente de regressão do ésimo preditor é .β^0j=1kβ^jx¯jSjjβ^jSj

No caso apresentado, presumi que apenas os preditores haviam sido padronizados. Se também padronizarmos a variável de resposta, a transformação dos coeficientes covariáveis ​​de volta à escala original será feita usando a fórmula da referência que você forneceu. Nós temos:

E[Y]y^Sy=β0+j=1kβjzj

Realizando a regressão, obtemos a equação de regressão ajustada

Y^scaled=Y^unscaledy¯Sy=β^0+j=1kβ^j(xjx¯jSj),

onde os valores ajustados estão na escala da resposta padronizada. Para desescaloná-los e recuperar as estimativas de coeficiente para o modelo não transformado, multiplicamos a equação por e trazemos a média amostral de para o outro lado:Syy

Y^unscaled=β^0Sy+y¯+j=1kβ^j(SySj)(xjx¯j).

A interceptação correspondente ao modelo no qual nem a resposta nem os preditores foram padronizados é conseqüentemente dada por , enquanto os coeficientes covariáveis ​​para o modelo de interesse podem ser obtidos multiplicando cada coeficiente por .Sy/Sjβ^0Sy+y¯j=1kβ^jSySjx¯jSy/Sj

Philipp Burckhardt
fonte