Por que o erro padrão da interceptação aumenta quanto mais

O erro padrão da intercepção termo ( ) em é dado por $\hat{\beta}_0$ $y=\beta_1x+\beta_0+\varepsilon$

S E ({\hat{β}}_{0})^{2} = σ^{2} [\frac{1}{n} + \frac{{\bar{x}}^{2}}{\sum_{i = 1}^{n} (x_{i} - \bar{x})^{2}}]

$SE(\hat{\beta}_0)^2 = \sigma^2\left[\frac{1}{n}+\frac{\bar{x}^2}{\sum_{i=1}^n(x_i-\bar{x})^2}\right]$ onde

\bar{x}

$\bar{x}$ é a média do

x_{i}

$x_i$ 's.

Pelo que eu entendo, o SE quantifica o seu uncertainty- por exemplo, em 95% das amostras, o intervalo irá conter o verdadeiro . Não entendo como a SE, uma medida de incerteza, aumenta com . Se eu simplesmente mudar meus dados, para que , minha incerteza ? Isso parece irracional. $[\hat{\beta}_0-2SE,\hat{\beta}_0+2SE]$ $\beta_0$ $\bar{x}$ $\bar{x}=0$

Uma interpretação é análoga - na versão descentrada das minhas corresponde a minha previsão em , enquanto que nos dados corresponde a minha previsão em . Então, isso significa que minha incerteza sobre minha previsão em é maior do que minha incerteza sobre minha previsão em ? Isso também parece irracional, o erro tem a mesma variação para todos os valores de $\hat{\beta}_0$ $x=0$ $\hat{\beta}_0$ $x=\bar{x}$ $x=0$ $x=\bar{x}$ $\epsilon$ $x$ , então minha incerteza em meus valores previstos deve ser a mesma para todos os . $x$

Existem lacunas no meu entendimento, tenho certeza. Alguém poderia me ajudar a entender o que está acontecendo?

regression interpretation standard-error elexhobby
fonte

Você já regrediu alguma coisa contra uma data? Muitos sistemas de computadores começam suas datas no passado distante, muitas vezes há mais de 100 ou mais de 2000 anos atrás. A interceptação estima o valor dos seus dados extrapolados para trás até o momento inicial. Quão certo você estaria, digamos, do produto interno bruto do Iraque no ano 0 EC, com base na regressão de uma série de dados do século XXI?

whuber

Eu concordo, faz sentido se você pensar dessa maneira. Isso e a resposta de Gung tornam as coisas claras.

elexhobby

Esta resposta fornece uma explicação intuitiva, com diagramas) de como ela surge, moldando a linha ajustada em termos do ajuste na média

(a linha ajustada passa por

) e mostra por que a posição de onde a linha pode ir se espalha para fora como você se afastar de

(que é causada pela incerteza na encosta).

\bar{x}

$\bar x$

(\bar{x}, \bar{y})

$(\bar x,\bar y)$

\bar{x}

$\bar x$

Glen_b -Reinstate Monica

Porque o ajuste linha de regressão por mínimos quadrados ordinários necessariamente passar pela média de seus dados (ou seja, ) -pelo menos enquanto você não suprimem a intercepção-incerteza sobre o verdadeiro valor do inclinação não tem qualquer efeito sobre a posição vertical da linha na parte média de (ou seja, em ). Isso se traduz em incerteza menos vertical em do que você tem o mais longe você é. Se a interceptação, onde é $(\bar x, \bar y)$ $x$ $\hat y_{\bar x}$ $\bar x$ $\bar x$ $x=0$ $\bar x$ , isso minimizará sua incerteza sobre o verdadeiro valor de . Em termos matemáticos, isto se traduz no menor valor possível do erro padrão para . $\beta_0$ $\hat\beta_0$

Aqui está um exemplo rápido em R:

set.seed(1)                           # this makes the example exactly reproducible
x0      = rnorm(20, mean=0, sd=1)     # the mean of x varies from 0 to 10
x5      = rnorm(20, mean=5, sd=1)
x10     = rnorm(20, mean=10, sd=1)
y0      = 5 + 1*x0  + rnorm(20)       # all data come from the same  
y5      = 5 + 1*x5  + rnorm(20)       #  data generating process
y10     = 5 + 1*x10 + rnorm(20)
model0  = lm(y0~x0)                   # all models are fit the same way
model5  = lm(y5~x5)
model10 = lm(y10~x10)

enter image description here

Esta figura é um pouco ocupada, mas você pode ver os dados de vários estudos diferentes em que a distribuição de estava mais próxima ou mais distante de . As encostas diferem um pouco de estudo para estudo, mas são bastante similares. (Aviso todos eles vão através do X circulado que eu usei para marca .) No entanto, a incerteza sobre o verdadeiro valor desses encostas faz com que a incerteza sobre para expandir a mais se afasta de , o que significa que o $x$ $0$ $(\bar x, \bar y)$ $\hat y$ $\bar x$ $SE(\hat\beta_0)$ muito grande para os dados que foram amostrados na vizinhança de e muito estreito para o estudo em que os dados foram amostrados perto de . $x=10$ $x=0$

Editar em resposta ao comentário: Infelizmente, centrando seus dados depois de tê-los não vai ajudar se você quiser saber a provável valor em algum valor . Em vez disso, você precisa centralizar sua coleta de dados no ponto que mais lhe interessa. Para entender melhor esses problemas, pode ser útil ler minha resposta aqui: Intervalo de previsão de regressão linear . $y$ $x$ $x_\text{new}$

Repor a Monica
fonte

x = x^{'}

$x=x'$

x

$x$

\bar{x} = 0

$\bar{x}=0$

\bar{x} = x^{'}

$\bar{x}=x'$

(x^{'} - \bar{x})^{2}

$(x^\prime - \bar{x})^2$ in the numerator instead of

{\bar{x}}^{2}

$\bar{x}^2$ : no shifting is needed.

whuber

@elexhobby, I added some info to answer your comment, you might also want to look at the linked material. Let me know if you still need more.

gung - Reinstate Monica

Here's how I understand - I read elsewhere that

S E ({\hat{β}}_{1}) = \frac{σ^{2}}{\sum (x_{i} - \bar{x})^{2}}

$SE(\hat{\beta}_1)=\frac{\sigma^2}{\sum(x_i-\bar{x})^2}$ . Now the error in the predicted value at

x_{n e w}

$x_{new}$ due to this uncertainty in the slope is

S E ({\hat{β}}_{1}) (x_{n e w} - \bar{x})^{2}

$SE(\hat{\beta}_1)(x_{new}-\bar{x})^2$ . Furthermore, the error due to uncertainty in the vertical position of the line is

\frac{σ^{2}}{n}

$\frac{\sigma^2}{n}$ . Combine these together, and we get the uncertainty in the predicted value due to uncertainty in

{\hat{β}}_{1}

$\hat{\beta}_1$ and

{\hat{β}}_{0}

$\hat{\beta}_0$ is

\frac{σ^{2}}{n} + \frac{σ^{2} (x_{n e w} - \bar{x})^{2}}{\sum (x_{i} - \bar{x})^{2}}

$\frac{\sigma^2}{n}+\frac{\sigma^2(x_{new}-\bar{x})^2}{\sum(x_i-\bar{x})^2}$ . Correct me if I'm wrong.

elexhobby

Furthermore, it is clear why the error in the vertical position is

\frac{σ^{2}}{n}

$\frac{\sigma^2}{n}$ - we know that the line has to pass through

\bar{y}

$\bar{y}$ at

x = \bar{x}

$x=\bar{x}$ . Now

\bar{y}

$\bar{y}$ contains the average of

n

$n$ iid errors, and hence will have SE equal to

\frac{σ^{2}}{n}

$\frac{\sigma^2}{n}$ . Wow! Thanks a lot for your diagram and clear explanation, I really appreciate.

elexhobby

Por que o erro padrão da interceptação aumenta quanto mais

Respostas: