As estimativas de interceptação e inclinação em regressão linear simples são independentes?

Considere um modelo linear

$y_i= \alpha + \beta x_i + \epsilon_i$

e as estimativas para o declive e interceptar e usando mínimos quadrados ordinários. Essa referência para uma estatística matemática faz a afirmação de que e são independentes (na prova de seu teorema). $\hat{\alpha}$ $\hat{\beta}$ $\hat{\alpha}$ $\hat{\beta}$

Não sei se entendi o porquê. Desde a

$\hat{\alpha}=\bar{y}-\hat{\beta} \bar{x}$

Isso não significa que e estão correlacionados? Provavelmente estou perdendo algo realmente óbvio aqui. $\hat{\alpha}$ $\hat{\beta}$

regression WetlabStudent
fonte

Respostas:

Vá para o mesmo site na seguinte sub-página:

https://onlinecourses.science.psu.edu/stat414/node/278

Você verá mais claramente que eles especificam o modelo de regressão linear simples com o regressor centrado na média da amostra . E isso explica por que eles posteriormente dizer que e são independentes. $\hat \alpha$ $\hat \beta$

Para o caso em que os coeficientes são estimados com um regressor não centrado, sua covariância é

Cov (\hat{α}, \hat{β}) = - σ^{2} (\bar{x} / S_{x x}), S_{x x} = \sum (x_{i}^{2} - {\bar{x}}^{2})

$\text{Cov}(\hat \alpha,\hat \beta) = -\sigma^2(\bar x/S_{xx}), \;\;S_{xx} = \sum (x_i^2-\bar x^2)$

Então você vê que se usarmos um regressor centrado em $\bar x$ , chamá-lo , a expressão covariância acima usa a média da amostra do regressor centrado, , que será zero, e por isso, também, será zero, e os estimadores de coeficiente serão independentes. $\tilde x$ $\tilde {\bar x}$

Este post contém mais sobre álgebra OLS de regressão linear simples.

Alecos Papadopoulos
fonte

Eu consideraria usando

em vez de

. Caso contrário, parece que

C o v (\hat{α}, \hat{β} | X)

$Cov(\hat \alpha, \hat \beta | X)$

C o v (\hat{α}, \hat{β})

$Cov(\hat \alpha, \hat \beta)$

\bar{x}

$\bar x$

precisam ser substituídos por contrapartes da população. Ou eu estou errado?

S_{x x}

$S_{xx}$

9309 Richard Hardy