Maneira alternativa de derivar coeficientes de OLS

Em outra pergunta minha , um respondente usou a seguinte derivação do coeficiente de OLS:

Temos um modelo: onde Z não é observado. Então temos:

$$Y = X_1 \beta + X_2 \beta_2 + Z \gamma + \varepsilon,$$ $Z$ondeX ∗ 1 =M2X1eM2=[I-X2(X ′ 2 X2)-1X ′ 2 ]. $$\text{plim}\, \hat \beta_{1} = \beta_1 + \gamma \frac{Cov(X_1^*, Z)}{Var(X_1^*)} = \beta_1,$$ $X_1^* = M_2 X_1$$M_2 = [I - X_2(X_2'X_2)^{-1}X_2']$

Isso parece diferente do usual que eu já vi na Econometria. Existe uma exposição mais explícita dessa derivação? Existe um nome para o M 2 matriz?$\beta = (X'X)^{-1}X'Y$$M_2$

A matriz é o "aniquilador" ou matriz de "máquina residual" associado com a matriz X . É chamado de "aniquilador" porque M X = 0 (para sua própria matriz X, é claro). Está é chamado de "criador residual" porque M y = e , na regressão y = X β + e . $\mathbf M = \mathbf I-\mathbf X(\mathbf X'\mathbf X)^{-1}\mathbf X'$$\mathbf X$$\mathbf M\mathbf X =0$$X$$\mathbf M \mathbf y =\mathbf {\hat e}$$\mathbf y = \mathbf X \beta + \mathbf e$

É uma matriz simétrica e idempotente. É usado na prova do teorema de Gauss-Markov.

Além disso, é usado no teorema de Frisch-Waugh-Lovell , a partir do qual é possível obter resultados para a "regressão particionada", que diz que no modelo (em forma de matriz)

$$\mathbf y = \mathbf X_1\beta_1 + \mathbf X_2\beta_2 + \mathbf u$$

nós temos isso

$$\hat \beta_1 = (\mathbf X_1'\mathbf M_2\mathbf X_1)^{-1}(\mathbf X_1'\mathbf M_2)\mathbf y$$

Como é idempotente, podemos reescrever o acima$\mathbf M_2$

$$\hat \beta_1 = (\mathbf X_1'\mathbf M_2\mathbf M_2\mathbf X_1)^{-1}(\mathbf X_1'\mathbf M_2\mathbf M_2)\mathbf y$$

e desde também é simétrica temos$M_2$

$$\hat \beta_1 = ([\mathbf M_2\mathbf X_1]'[\mathbf M_2\mathbf X_1])^{-1}([\mathbf M_2\mathbf X_1]'[\mathbf M_2\mathbf y]$$

Mas este é o estimador de mínimos quadrados do modelo

$$[\mathbf M_2\mathbf y] = [\mathbf M_2\mathbf X_1]\beta_1 + \mathbf M_2\mathbf u$$

e também são os resíduos de regressão y na matriz X 2 somente. $\mathbf M_2\mathbf y$$\mathbf y$$\mathbf X_2$

Por outras palavras: 1) Se regridem na matriz X 2 apenas, e então regride os resíduos deste estimativa sobre a matriz H 2 X 1 única, os β 1 estimativas obteremos serão matematicamente igual ao estimativas nós obterá se regredir y em ambos X 1 e X 2 juntos, ao mesmo tempo, como uma regressão múltipla habitual. $\mathbf y$$\mathbf X_2$$\mathbf M_2\mathbf X_1$$\hat \beta_1$$\mathbf y$$\mathbf X_1$$\mathbf X_2$

Agora, assuma que não é uma matriz, mas apenas um regressor, digamos x 1 . Em seguida, H 2 x 1 representa os resíduos de regredir a variável X 1 na matriz regressor X 2 . E isso proporciona a intuição aqui: β 1 nos dá o efeito que "a parte de X 1 que é inexplicável pela X 2 " tem de "a parte de Y que resta inexplicável por X 2 ".$\mathbf X_1$$\mathbf x_1$$\mathbf M_2 \mathbf x_1$$X_1$$\mathbf X_2$$\hat \beta_1$$X_1$$\mathbf X_2$$Y$$\mathbf X_2$

Esta é uma parte emblemática da álgebra de mínimos quadrados clássica.