Por que a inclinação sempre é exatamente 1 ao regredir os erros nos resíduos usando o OLS?

Eu estava experimentando a relação entre os erros e os resíduos usando algumas simulações simples em R. Uma coisa que eu descobri é que, independentemente do tamanho da amostra ou variação de erro, sempre consigo exatamente $1$ para a inclinação quando você se encaixa no modelo

$${\rm errors} \sim \beta_0 + \beta_1 \times {\rm residuals}$$

Aqui está a simulação que eu estava fazendo:

n <- 10 
s <- 2.7 

x <- rnorm(n) 
e <- rnorm(n,sd=s)
y <- 0.3 + 1.2*x + e

model <- lm(y ~ x) 
r <- model$res 

summary( lm(e ~ r) )

ee rsão altamente (mas não perfeitamente) correlacionados, mesmo para amostras pequenas, mas não consigo descobrir por que isso acontece automaticamente. Uma explicação matemática ou geométrica seria apreciada.

a resposta do whuber é ótima! (+1) Eu resolvi o problema usando a notação mais familiar para mim e calculei que a derivação (menos interessante, mais rotineira) pode valer a pena incluir aqui.

Vamos ser o modelo de regressão, para X ∈ R n × p e £ o ruído. Em seguida, a regressão de y contra as colunas de X tem as equações normais X T ( y - X β ) = 0 , produzindo estimativas β = ( X T X ) - 1 X T Portanto a regressão possui residuais $y = X \beta^* + \epsilon$$X \in \mathbb{R}^{n \times p}$$\epsilon$$y$$X$$X^T\left(y - X \hat\beta\right) = 0,$

$$\hat\beta = \left(X^T X \right)^{-1} X^T y.$$ para H = X ( X T X ) - 1 $$r = y - X \hat\beta = \left( I - H \right) y = \left( I - H \right) \epsilon,$$ .$H = X (X^T X)^{-1} X^T$

Regressar em r resulta em uma inclinação estimada dada por ( r T r ) - 1$\epsilon$$r$ desdeque-Hé simétrico e idempotente e£∉im(X)quase certamente.

$$\begin{align*} (r^T r)^{-1} r^T \epsilon & = \left( \left[ \left(I - H\right) \epsilon \right]^T \left[ \left(I - H\right) \epsilon \right] \right)^{-1} \left[ \left(I - H\right) \epsilon \right]^T \epsilon \\ & = \frac{\epsilon^T \left( I - H \right)^T \epsilon}{\epsilon^T \left( I - H \right)^T \left( I - H \right) \epsilon} \\ & = \frac{\epsilon^T \left( I - H \right) \epsilon}{\epsilon^T \left( I - H \right) \epsilon} \\ & = 1, \end{align*}$$ $I-H$$\epsilon \not\in \mathrm{im}(X)$

Além disso, esse argumento também se aplica se incluirmos uma interceptação quando realizamos a regressão dos erros nos resíduos se uma interceptação foi incluída na regressão original, uma vez que as covariáveis ​​são ortogonais (ou seja, , das equações normais) .$1^T r = 0$

$x$$e$$Y=\beta x + e$$b$$\beta$$r = Y - bx$$O$

$\beta x$$e$$Y$$bx$$Y-bx$$r$

$x$$OY$$(\beta x)Y$$r$$r$$Y$$r$$Y$$e$$r$$e$$r$$r$$r$$1$

---

$r$$e=r+(\beta-b)x$$Y=e+\beta x = r + (2\beta-b)x$$x$$x$$r$$r$$1$$x$$r$