Por que a soma dos resíduos quadráticos não aumenta ao adicionar variável explicativa?

9

No meu livro econométrico (Econometria Introdutória), que trata do OLS, o autor escreve: "O SSR deve cair quando outra variável explicativa é adicionada". Por que é isso?

regression optimization econometrics intuition sums-of-squares Eric Xu
fonte

11

Em essência, porque se não houver relação linear com a próxima variável, seja qual for (correlação parcial de 0 amostras), o SSR permanecerá o mesmo. Se houver algum relacionamento, a próxima variável pode ser usada para reduzir o SSR.

Glen_b -Reinstala Monica

3

A afirmação é correta em espírito, mas não é totalmente verdadeira: o SSR permanecerá o mesmo (e não cairá) ao adicionar qualquer variável que seja uma combinação linear das variáveis existentes. Afinal, ignorando a nova variável, é possível obter o mesmo valor mínimo de SSR que você realizou com a variável antiga, portanto, adicionar uma nova variável nunca pode piorar as coisas.

whuber

Respondi a uma pergunta semelhante aqui: stats.stackexchange.com/questions/306267/… . Você pode achar útil.

21717 Josh

18

Eu : y_{Eu} = β_{0 0} + β_{1 1} x_{1 1 Eu} + ϵ_{Eu}

$I \colon y_i=\beta_0 + \beta_1 x_{1i}+\epsilon_{i}$

Eu Eu : y_{Eu} = β_{0 0} + β_{1 1} x_{1 1 Eu} + β_{2} x_{2 Eu} + ϵ_{Eu}

$II \colon y_i = \beta_0 + \beta_1 x_{1i} + \beta_2 x_{2i} + \epsilon_i$

{SSR}_{1} = \sum_{i} (y_{i} - β_{0} - β_{1} x_{1 i})^{2}

$\text{SSR}_1 = \sum_i (y_i-\beta_0-\beta_1 x_{1i})^2$

{SSR}_{2} = \sum_{i} (y_{i} - β_{0} - β_{1} x_{1 i} - β_{2} x_{2 i})^{2}

$\text{SSR}_2 = \sum_i (y_i-\beta_0-\beta_1 x_{1i}-\beta_2 x_{2i})^2$

β_{0}, β_{1}

$\beta_0, \beta_1$

β_{2} = 0

$\beta_2=0$

β_{2}

$\beta_2$

Para resumir, os modelos estão aninhados, no sentido de que tudo o que podemos modelar com o modelo 1 pode ser correspondido pelo modelo dois, o modelo dois é mais geral que o modelo 1. Portanto, na otimização, temos maior liberdade com o modelo dois. sempre encontre uma solução melhor.

Isso realmente não tem nada a ver com estatísticas, mas é um fato geral sobre otimização.

kjetil b halvorsen
fonte

11

Não pensei dessa maneira, realmente útil!

Eric Xu

1

SSR é uma medida da discrepância entre os dados e um modelo de estimativa.

Se você tiver a opção de levar em consideração outra variável, se essa variável contiver mais informações, o ajuste seria naturalmente mais rígido, o que significa um SSR menor.

Andarilho das Nuvens
fonte

Por que a soma dos resíduos quadráticos não aumenta ao adicionar variável explicativa?

Respostas: