Na regressão linear, por que os resíduos de mínimos quadrados brutos são heterocedásticos?

7

Nas anotações de meu curso sobre um curso de regressão com relação à detecção de heterocedasticidade, há a seguinte citação:

"Como os resíduos dos mínimos quadrados apresentam variações desiguais mesmo no caso homoscedástico, é preferível usar os resíduos padronizados".

Minha intuição me diz que, como a linha de regressão LS necessariamente passa pelo centro da nuvem de dados, ela será mais adequada para pontos no meio do espaço covariável do que nas caudas, dando assim uma variação maior nos extremos.

Apesar disso, isso não parece necessário . E, ao mesmo tempo, me pergunto por que nos importamos com a homoscedasticidade em resíduos padronizados ou estudados e não nos resíduos brutos.

Kuku
fonte
3
Para resíduos, a variação é menor nos extremos. Isso ocorre porque as observações mais extremas têm mais influência sobre a função de regressão. ( 'mais extrema' = mais longe da média em espaço-x, tal como medida pela distância Mahalanobis') [as fórmulas específicas são facilmente derivados ou pode ser encontrada em outras respostas no local.]
Glen_b -Reinstate Monica
A resposta pode ser encontrada aqui: stats.stackexchange.com/questions/212656/…
kjetil b halvorsen
11
Existe uma derivação da variação de um resíduo para o caso de regressão múltipla e algumas explicações adicionais aqui
Glen_b -Reinstate Monica

Respostas:

4

Assumindo o modelo linear usual com variação constante σ2. Usarei a notação (e alguns resultados) de Alavancas e efeito de pontos de alavancagem . O modelo linear em forma de matriz é

Y=Xβ+ϵ
Onde ϵ é um vetor de ntermos de erro do iid. Então a matriz do chapéu éH=X(XTX)-1 1XT, e seus termos diagonais são as alavancas hEuEu. Podemos mostrar que a variância dos resíduoseEu=yEu-yEu^ é σ2(1 1-hEuEu) (lembrar 0 0<hEuEu<1 1.)

Portanto, nesse modelo, para obter resíduos de variação constante, dividimos por 1 1-hEuEu: os resíduos padronizados definidos por rEu=yEu-y^Eu1 1-hEuEutem variação constante. Portanto, para muitos usos na análise de resíduos, preferimos esses resíduos padronizados, por exemplo, na verificação da suposição de variação constante.

EDIT

Em um comentário, o OP escreve:

Até onde eu sei, a suposição formal não é "homoscedasticidade de resíduos padronizados", mas apenas resíduos por si só.

Isso confunde erros com resíduos . Os erros são os não observadosϵEu na equação de regressão yEu=β0 0+EuβEuxEu+ϵEu, enquanto resíduos é a diferença observada entre a observação e a previsão do modelo. Homoskedastcity significa que todos os erros têm a mesma variação, não que os resíduos tenham variação constante. Se você deseja usar resíduos para testar / criticar a suposição de variação constante, é melhor usar uma versão dos resíduos que possuem variação constante (no modelo).

kjetil b halvorsen
fonte
Com relação à segunda parte da minha pergunta, posso entender por que é mais conveniente usar resíduos padronizados, mas minha pergunta é mais abstrata: por que a heterocedasticidade natural não perturba por si só nossas condições de Gauss-Markov e estimativas de erro padrão . Até onde eu sei, a suposição formal não é "homoscedasticidade de resíduos padronizados", mas apenas resíduos por si só. Não estamos apenas "cobrindo o sol com um dedo"?
Kuku
1

Suponha que você tenha três x-valores: -1 1,0 0,+1

As variáveis ​​dependentes correspondentes Y1 1,Y2,Y3 são onde está a aleatoriedade.

Agora desenhe a imagem. Você pode ver porque, se você se mudarY2para cima ou para baixo, a linha ajustada se move para cima ou para baixo. (Apenas1 1/3 tanto quanto Y2 movimentos). Mas o que acontece se você se mover Y3Para cima ou para baixo? A linha ajustada não se move apenas para cima ou para baixo; sua inclinação também aumenta ou diminui. Ou se você se mudarY1 1para cima ou para baixo, então a inclinação fica menor ou maior, respectivamente. Portanto, a linha tem mais tendência a ficar perto do ponto de dados quando o ponto de dados éx-valor está longe da média x-valor do que quando está próximo da média x-valor. Portanto, os resíduos observados apresentam uma variação menor quando ox-valor está longe da média x-valor do que quando o x-valor está próximo da média x-valor.

Os valores ajustados são

(Y^1 1,Y^2,Y^3)=(23Y1 1+1 13Y2,1 13(Y1 1+Y2+Y3),1 13Y2+23Y3).
Então os resíduos são
(Y1 1,Y2,Y3)-(Y^1 1,Y^2,Y^3)=(1 13Y1 1-1 13Y2,-23Y1 1+23Y2-23Y3,-1 13Y2+1 13Y3).
A partir disso, é possível calcular as variações dos resíduos.

Michael Hardy
fonte