Por que o RSS é distribuído chi square times np?

Gostaria de entender por que, no âmbito do modelo OLS, o RSS (soma dos quadrados dos resíduos) é distribuído ( sendo o número de parâmetros do modelo, o número de observações).

$$\chi^2\cdot (n-p)$$ $p$$n$

Peço desculpas por fazer uma pergunta tão básica, mas parece que não consigo encontrar a resposta on-line (ou nos meus livros didáticos mais orientados para aplicativos).

Eu considero o seguinte modelo linear: ${y} = X \beta + \epsilon$ .

O vetor de resíduos é estimado por

$$\hat{\epsilon} = y - X \hat{\beta} = (I - X (X'X)^{-1} X') y = Q y = Q (X \beta + \epsilon) = Q \epsilon$$

onde .$Q = I - X (X'X)^{-1} X'$

Observe que (o traço é invariável sob permutação cíclica) e que Q ′ = Q = Q 2 . Os autovalores de Q são, portanto, 0 e 1 (alguns detalhes abaixo). Portanto, existe uma matriz unitária V tal que ( matrizes são diagonalizáveis ​​por matrizes unitárias se e somente se forem normais ) .$\textrm{tr}(Q) = n - p$$Q'=Q=Q^2$$Q$$0$$1$$V$

$$V'QV = \Delta = \textrm{diag}(\underbrace{1, \ldots, 1}_{n-p \textrm{ times}}, \underbrace{0, \ldots, 0}_{p \textrm{ times}})$$

Agora, vamos ε .$K = V' \hat{\epsilon}$

Desde ε ~ N ( 0 , σ 2 Q ) , dispomos de K ~ N ( 0 , σ 2 Δ ) e, por conseguinte, K n - p + 1 = ... = K n = 0 . portanto$\hat{\epsilon} \sim N(0, \sigma^2 Q)$$K \sim N(0, \sigma^2 \Delta)$$K_{n-p+1}=\ldots=K_n=0$

$$\frac{\|K\|^2}{\sigma^2} = \frac{\|K^{\star}\|^2}{\sigma^2} \sim \chi^2_{n-p}$$

com .$K^{\star} = (K_1, \ldots, K_{n-p})'$

Além disso, como é uma matriz unitária, também temos$V$

$$\|\hat{\epsilon}\|^2 = \|K\|^2=\|K^{\star}\|^2$$

portanto

$$\frac{\textrm{RSS}}{\sigma^2} \sim \chi^2_{n-p}$$

Por fim, observe que esse resultado implica que

$$E\left(\frac{\textrm{RSS}}{n-p}\right) = \sigma^2$$

---

Como , o polinômio mínimo de Q divide o polinômio z 2 - z . Portanto, os autovalores de Q estão entre 0 e 1 . Como tr ( Q ) = n - p também é a soma dos autovalores multiplicados por sua multiplicidade, temos necessariamente que 1 é um autovalor com multiplicidade n - p e zero é um autovalor com multiplicidade p .$Q^2 - Q =0$$Q$$z^2 - z$$Q$$0$$1$$\textrm{tr}(Q) = n-p$$1$$n-p$$p$

IMHO, a notação matricial complica as coisas. A linguagem pura do espaço vetorial é mais limpa. O modelo pode ser escrito Y = μ + σ G, onde G tem a distribuição normal padrão em R n e μ é assumido como pertencendo a um subespaço vetorial W ⊂ R n .$Y=X\beta+\epsilon$$\boxed{Y=\mu + \sigma G}$$G$$\mathbb{R}^n$$\mu$$W \subset \mathbb{R}^n$

Agora a linguagem da geometria elementar entra em jogo. Os mínimos quadrados estimador μ de μ é nada mas P W Y : a projecção ortogonal da observável Y no espaço W para que μ é assumido como pertencem. O vetor de resíduos é P ⊥ W Y : projeção no complemento ortogonal W ⊥ de W em R n . A dimensão de W ⊥ é fraca ( W ⊥ ) = n -$\hat\mu$$\mu$$P_WY$$Y$$W$$\mu$$P^\perp_WY$$W^\perp$$W$$\mathbb{R^n}$$W^\perp$ .$\dim(W^\perp)=n-\dim(W)$

Finalmente, e P ⊥ W G tem a distribuição normal padrão em W ⊥ , portanto, sua norma ao quadrado tem a distribuição χ 2 com dim ( W ⊥ ) graus de liberdade.

$$P^\perp_WY = P^\perp_W(\mu + \sigma G) = 0 + \sigma P^\perp_WG,$$ $P^\perp_WG$$W^\perp$$\chi^2$$\dim(W^\perp)$

Esta demonstração usa apenas um teorema, na verdade um teorema de definição:

Definição e teorema . Um vetor aleatório em tem a distribuição normal padrão em um espaço vetorial U ⊂ R n se ele recebe seus valores em U e suas coordenadas em um ($\mathbb{R}^n$$U \subset \mathbb{R}^n$$U$$\iff$ao todo) base ortonormal de são distribuições normais padrão unidimensionais independentes$U$

(deste teorema da definição, o teorema de Cochran é tão óbvio que não vale a pena afirmar)