Por que os resíduos na regressão linear sempre somam zero quando uma interceptação é incluída?

14

Estou fazendo um curso sobre modelos de regressão e uma das propriedades fornecidas para a regressão linear é que os resíduos sempre somam zero quando uma interceptação é incluída.

Alguém pode fornecer uma boa explicação sobre por que esse é o caso?

dts86
fonte
3
Você pode primeiro ponderar sobre a questão intimamente relacionada, mas mais simples, de por que, em uma amostra univariada, os resíduos obtidos subtraindo a média da amostra de cada valor também somam 0. (Tente seguir a álgebra, se puder.)
Glen_b - Restabelecer Monica
3
Assim que você reconhece que "soma a zero" significa "ortogonal a uma das variáveis ​​explicativas", a resposta se torna geometricamente óbvia.
whuber

Respostas:

18

Isso segue diretamente das equações normais, ou seja, as equações que o estimador OLS resolve,

X(yXb)e=0

O vetor dentro dos parênteses é obviamente o vetor residual ou a projeção de no complemento ortogonal do espaço da coluna de X , se você gosta de álgebra linear. Agora, incluir um vetor de uns na matriz X , que por sinal não precisa estar na primeira coluna, como é feito convencionalmente, leva ayXX

1e=0i=1nei=0

No problema de duas variáveis, isso é ainda mais simples, pois minimizar a soma dos resíduos quadrados nos leva a

i=1n(yiabxi)=0

quando tomamos a derivada em relação à interceptação. A partir disso, passamos a obter o estimador familiar

a=y¯bx¯

onde novamente vemos que a construção de nossos estimadores impõe essa condição.

JohnK
fonte
16

Caso você esteja procurando uma explicação bastante intuitiva.

Em certo sentido, o modelo de regressão linear nada mais é que uma média sofisticada. Para encontrar a média aritmética x¯ sobre alguns valores x1,x2,,xn , encontramos um valor que é uma medida de centralidade, no sentido de que a soma de todos os desvios (onde cada desvio é definido como ui=xix¯) à direita do valor médio são iguais à soma de todos os desvios à esquerda dessa média. Não existe uma razão inerente para que essa medida seja boa, muito menos a melhor maneira de descrever a média de uma amostra, mas é certamente intuitiva e prática. O ponto importante é que, ao definir a média aritmética dessa maneira, segue-se necessariamente que, uma vez construída a média aritmética, todos os desvios dessa média devem somar zero por definição!

Na regressão linear, isso não é diferente. Ajustamos a linha de forma que a soma de todas as diferenças entre nossos valores ajustados (que estão na linha de regressão) e os valores reais que estão acima da linha seja exatamente igual à soma de todas as diferenças entre a linha de regressão e todos os valores abaixo da linha de regressão. linha. Novamente, não há uma razão inerente à razão pela qual essa é a melhor maneira de criar um ajuste, mas é direta e intuitivamente atraente. Assim como na média aritmética: construindo nossos valores ajustados dessa maneira, segue-se necessariamente, por construção, que todos os desvios dessa linha devem somar zero, pois, caso contrário, isso não seria uma recessão do OLS.

Manuel R
fonte
2
+1 para uma resposta direta, simples e intuitiva!
2

Quando uma intercepção está incluído na regressão linear

y^i=β0+β1xi,1+β2xi,2++βpxi,p
Em regressão de mínimos quadrados, a soma dos quadrados dos os erros são minimizados.
SSE=i=1n(ei)2=i=1n(yiyi^)2=i=1n(yiβ0β1xi,1β2xi,2βpxi,p)2
Tire a derivada parcial SSE em relação aβ0e definindo-o como zero.
SSEβ0=i=1n2(yiβ0β1xi,1β2xi,2βpxi,p)1(1)=2i=1nei=0
Portanto, os resíduos sempre somam zero quando um intercepto é incluído na regressão linear.

DavidCruise
fonte
1

1X

1=Xe,
e1T(yy^)

Portanto,

1T(yy^)=1T(IH)y=eTXT(IX(XTX)1XT)y=eT(XTXTX(XTX)1XT)y=eT(XTXT)y=0.

Zhanxiong
fonte
0

A simple derivation using matrix algebra:

e can be written as 1Te

Then

1Te=1T(Mxy) where Mx is the orthogonal matrix. Since Mx is symmetric we can rearrange so that (Mx1)Ty

which equals zero if Mx and 1 are orthogonal, which is the case if the matrix of the regressors x contains the intercept (a vector of 1, indeed).

Mino
fonte
I don't think this is right.
Michael R. Chernick
If you explain why then I will be happy to learn something
Mino
0
  1. ei=yi[1,X][a,b]=yiXba=via
  2. ddaei2ei1=via=0 so a^=1nvi
  3. ei=ivia=ivinnivi=0

..

Hunaphu
fonte