Por que a soma dos resíduos quadráticos não aumenta ao adicionar variável explicativa?

9

No meu livro econométrico (Econometria Introdutória), que trata do OLS, o autor escreve: "O SSR deve cair quando outra variável explicativa é adicionada". Por que é isso?

Eric Xu
fonte
11
Em essência, porque se não houver relação linear com a próxima variável, seja qual for (correlação parcial de 0 amostras), o SSR permanecerá o mesmo. Se houver algum relacionamento, a próxima variável pode ser usada para reduzir o SSR.
Glen_b -Reinstala Monica
3
A afirmação é correta em espírito, mas não é totalmente verdadeira: o SSR permanecerá o mesmo (e não cairá) ao adicionar qualquer variável que seja uma combinação linear das variáveis ​​existentes. Afinal, ignorando a nova variável, é possível obter o mesmo valor mínimo de SSR que você realizou com a variável antiga, portanto, adicionar uma nova variável nunca pode piorar as coisas.
whuber
Respondi a uma pergunta semelhante aqui: stats.stackexchange.com/questions/306267/… . Você pode achar útil.
21717 Josh

Respostas:

18

Eu:yEu=β0 0+β1 1x1 1Eu+ϵEu
EuEu:yEu=β0 0+β1 1x1 1Eu+β2x2Eu+ϵEu
SSR1 1=Eu(yEu-β0 0-β1 1x1 1Eu)2SSR2=Eu(yEu-β0 0-β1 1x1 1Eu-β2x2Eu)2β0 0,β1 1β2=0 0β2

Para resumir, os modelos estão aninhados, no sentido de que tudo o que podemos modelar com o modelo 1 pode ser correspondido pelo modelo dois, o modelo dois é mais geral que o modelo 1. Portanto, na otimização, temos maior liberdade com o modelo dois. sempre encontre uma solução melhor.

Isso realmente não tem nada a ver com estatísticas, mas é um fato geral sobre otimização.

kjetil b halvorsen
fonte
11
Não pensei dessa maneira, realmente útil!
Eric Xu
1

SSR é uma medida da discrepância entre os dados e um modelo de estimativa.

Se você tiver a opção de levar em consideração outra variável, se essa variável contiver mais informações, o ajuste seria naturalmente mais rígido, o que significa um SSR menor.

Andarilho das Nuvens
fonte