O residual, e, é um estimador do erro,

8

Esta questão surgiu em outro tópico que eu comecei, então pensei em obter mais opiniões das pessoas sobre isso. Minha pergunta é

O residual, e, é um estimador do erro, ?ϵ

A razão pela qual pergunto é a seguinte. No OLS, a variação dos resíduos, , é conhecida como variação da regressão (onde RSS é a soma residual dos quadrados). Da mesma forma, a raiz quadrada dessa variação, , é o erro padrão da regressão. Dado o fato de que a raiz quadrada da variação, , é um erro padrão, isso significa que essa variação é a variação de um estimador. Já sabemos que é a variação dos resíduos, portanto, o residual é um estimador ?? (Presumo de )RSS(nK) RSSRSS(nK) ϵRSS(nK)ϵ

Pensamentos??

EconStats
fonte

Respostas:

10

Certamente os resíduos são algum tipo de estimador de (para ser claro, a definição de residual é o estimador, o residual observado é uma estimativa). Se o modelo estiver correto, às vezes eles podem ser uma estimativa bastante boa.ϵ

De fato

,e=yy^=Xβ+ϵX(XX)1X(Xβ+ϵ)=(IH)ϵ

onde é a matriz de chapéu (porque 'coloca o chapéu em' y ) - também chamada de matriz de projeção.H=X(XX)1Xy

http://en.wikipedia.org/wiki/Hat_matrix

Ou seja, cada 's são uma combinação linear dos ϵ ' s; se 1 - h i i é razoavelmente grande em relação a j i h i j (se H for 'pequeno' em relação a I), então a maior parte do peso está no i- ésimo erro (esse não é frequentemente o caso, embora )eϵ1hiijihijHith

Observe que terão a mesma expectativa e variância comoεiese os elementos deHsão pequenos, na forma acima descrita, será altamente correlacionada com ele - na verdade, se eu fiz o meu direito de álgebra, a correlação entreeieεié realmente:corr(ei,εi)=ei/1hiiϵi H eiϵi .corr(ei,ϵi)=1hii

Glen_b -Reinstate Monica
fonte
Obrigado pela ajuda Glen_b. Pergunta rápida: O que é a matriz H ? As únicas matrizes que eu conheço relacionados à regressão são o Projection Matrix, P , e o Criador Residual, M . E eu claro.
EconStats 9/10
Definição e link adicionado.
Glen_b -Reinstate Monica 9/10
Legal, é apenas a Matriz de Projeção, eu já vi isso antes!
EconStats 9/10
Para a resposta acima, eu acho que há um pequeno erro que e deve ser (IH) (X \ beta + \ epsilon)
Chen Wang
(IH)Xβ=0