Maneira alternativa de derivar coeficientes de OLS

8

Em outra pergunta minha , um respondente usou a seguinte derivação do coeficiente de OLS:

Temos um modelo: onde Z não é observado. Então temos: plim

Y=X1β+X2β2+Zγ+ε,
ZondeX1 =M2X1eM2=[I-X2(X2 X2)-1X2 ].
plimβ^1=β1+γCov(X1,Z)Var(X1)=β1,
X1=M2X1M2=[IX2(X2X2)1X2]

Isso parece diferente do usual que eu já vi na Econometria. Existe uma exposição mais explícita dessa derivação? Existe um nome para o M 2 matriz?β=(XX)1XYM2

Heisenberg
fonte
Tenho certeza de que está descrito nas notas da palestra de Hansen, mas não as tenho em minhas mãos agora.
FooBar

Respostas:

8

A matriz é o "aniquilador" ou matriz de "máquina residual" associado com a matriz X . É chamado de "aniquilador" porque M X = 0 (para sua própria matriz X, é claro). Está é chamado de "criador residual" porque M y = e , na regressão y = X β + e . M=IX(XX)1XXMX=0XMy=e^y=Xβ+e

É uma matriz simétrica e idempotente. É usado na prova do teorema de Gauss-Markov.

Além disso, é usado no teorema de Frisch-Waugh-Lovell , a partir do qual é possível obter resultados para a "regressão particionada", que diz que no modelo (em forma de matriz)

y=X1β1+X2β2+u

nós temos isso

β^1=(X1M2X1)1(X1M2)y

Como é idempotente, podemos reescrever o acimaM2

β^1=(X1M2M2X1)1(X1M2M2)y

e desde também é simétrica temosM2

β^1=([M2X1][M2X1])1([M2X1][M2y]

Mas este é o estimador de mínimos quadrados do modelo

[M2y]=[M2X1]β1+M2u

e também são os resíduos de regressão y na matriz X 2 somente. M2yyX2

Por outras palavras: 1) Se regridem na matriz X 2 apenas, e então regride os resíduos deste estimativa sobre a matriz H 2 X 1 única, os β 1 estimativas obteremos serão matematicamente igual ao estimativas nós obterá se regredir y em ambos X 1 e X 2 juntos, ao mesmo tempo, como uma regressão múltipla habitual. yX2M2X1β^1yX1X2

Agora, assuma que não é uma matriz, mas apenas um regressor, digamos x 1 . Em seguida, H 2 x 1 representa os resíduos de regredir a variável X 1 na matriz regressor X 2 . E isso proporciona a intuição aqui: β 1 nos dá o efeito que "a parte de X 1 que é inexplicável pela X 2 " tem de "a parte de Y que resta inexplicável por X 2 ".X1x1M2x1X1X2β^1X1X2YX2

Esta é uma parte emblemática da álgebra de mínimos quadrados clássica.

Alecos Papadopoulos
fonte
Comecei a responder, mas havia muita sobreposição com essa resposta. Você pode encontrar muitas dessas informações no capítulo 3.2.4 da 7ª edição da "Análise Econométrica", de Bill Greene.
cc7768
@ cc7768 Sim, essa é uma boa fonte para álgebra de mínimos quadrados. Mas não hesite em postar material adicional. Por exemplo, essencialmente minha resposta cobre apenas a segunda pergunta do OP.
Alecos Papadopoulos
M2yX1β^1M2yM2X1
@Heisenberg Correct. Erro de digitação. Corrigido e adicionado um pouco mais.
Alecos Papadopoulos