Intervalo de previsão de regressão linear

24

Se a melhor aproximação linear (usando mínimos quadrados) dos meus pontos de dados é a linha y=mx+b , como posso calcular o erro de aproximação? Se o cálculo do desvio padrão da diferença entre as observações e previsões ei=real(xi)(mxi+b) , que pode depois dizer que uma verdadeira (mas não observado) valor yr=real(x0) pertence ao intervalo ( y p = m x 0 + b ) com probabilidade ~ 68%, assumindo distribuição normal?[ypσ,yp+σ]yp=mx0+b

Esclarecer:

Fiz observações sobre uma função avaliando-a em alguns pontos x i . Ajustei essas observações a uma linha l ( x ) = m x + b . Para x 0 que eu não observei, gostaria de saber quão grande pode ser f ( x 0 ) - l ( x 0 ) . Usando o método acima, é correto dizer que f ( x 0 ) [ l ( x 0f(x)xil(x)=mx+bx0f(x0)l(x0) com prob. ~ 68%?f(x0)[l(x0)σ,l(x0)+σ]

bmx
fonte
11
Eu acho que você está perguntando sobre intervalos de previsão. Observe, no entanto, que você usa " ", em vez de " y i ". Isso é um erro de digitação? Nós não prevemos x s. xiyix
gung - Restabelece Monica
@ gung: Eu uso para indicar, por exemplo, tempo, e y o valor de alguma variável naquele momento, então y = f ( x ) significa que eu fiz uma observação y no tempo x . Quero saber até que ponto as previsões da função de ajuste podem estar dos valores reais de y. Isso faz sentido? A função r e a l ( x i ) retorna o valor "correto" de y em x i , e meus pontos de dados consistem em ( x i , r e a lxyy=f(x)yxreal(xi)yxi . (xi,real(xi))
bmx
11
Isso parece perfeitamente razoável. As partes nas quais estou focando são, por exemplo, " ", geralmente pensamos nos erros / resíduos em um modelo de registro como " e i = y i - ( m x i + b ) ". O SD dos resíduos faz desempenhar um papel no cálculo intervalos de predição. É esse " x iei=real(xi)(mxi+b)ei=yi(mxi+b)xi"Isso é estranho para mim, eu estou querendo saber se é um erro de digitação, ou você está perguntando sobre algo que eu não reconheço.
gung - Reintegrar Monica
Eu acho que vejo; Eu perdi sua edição. Isto sugere que o sistema é perfeitamente determinista e se você tivesse acesso à verdadeira função subjacente, você sempre pode prever perfeitamente w / o erro. Não é assim que pensamos sobre os modelos de registro. yi
gung - Restabelece Monica
4
bmx, Parece-me que você tem uma idéia clara da sua pergunta e uma boa percepção de alguns dos problemas. Você pode estar interessado em revisar três tópicos intimamente relacionados. stats.stackexchange.com/questions/17773 descreve intervalos de previsão em termos não técnicos ; stats.stackexchange.com/questions/26702 fornece uma descrição mais matemática; e em stats.stackexchange.com/questions/9131 , Rob Hyndman fornece a fórmula que você procura. Se eles não responderem totalmente à sua pergunta, pelo menos eles poderão fornecer uma notação e vocabulário padrão para esclarecê-la.
whuber

Respostas:

30

O @whuber apontou três boas respostas, mas talvez eu ainda possa escrever algo de valor. Sua pergunta explícita, como eu a entendo, é:

Dada a minha modelo y^i=m^xi+b^ (aviso Eu adicionado chapéus '') , e assumindo que os resíduos são normalmente distribuídos, , que podem prever que um ainda resposta não observada, y n e w , com um valor preditivo conhecida, x n e w , vai cair dentro do intervalo ( y - σ e , y + σN(0,σ^e2)ynewxnew , com probabilidade 68%?(y^σe,y^+σe)

Intuitivamente, a resposta parece que deveria ser 'sim', mas a resposta verdadeira é talvez . Este será o caso quando os parâmetros (ou seja, & σ ) forem conhecidos e sem erros. Como você estimou esses parâmetros, precisamos levar em consideração a incerteza deles. m,b,σ

Vamos primeiro pensar no desvio padrão de seus resíduos. Como isso é calculado a partir dos seus dados, pode haver algum erro na estimativa. Como resultado, a distribuição você deve usar para formar o seu intervalo de previsão deve ser , não o normal. No entanto, como ot converge rapidamente para o normal, é menos provável que seja um problema na prática. tdf errort

y^new±t(1α/2, df error)sy^new±z(1α/2)sm^b^serror

spredictions(new)2=serror2+Var(m^xnew+b^)
xs2x
spredictions(new)=serror2(1+1N+(xnewx¯)2(xix¯)2)
As an interesting side note, we can infer a few facts about prediction intervals from this equation. First, prediction intervals will be narrower the more data we had when we built the prediction model (this is because there's less uncertainty in m^ & b^). Second, predictions will be most precise if they are made at the mean of the x values you used to develop your model, as the numerator for the third term will be 0. The reason is that under normal circumstances, there is no uncertainty about the estimated slope at the mean of x, only some uncertainty about the true vertical position of the regression line. Thus, some lessons to be learned for building prediction models are: that more data is helpful, not with finding 'significance', but with improving the precision of future predictions; and that you should center your data collection efforts on the interval where you will need to be making predictions in the future (to minimize that numerator), but spread the observations as widely from that center as you can (to maximize that denominator).

Having calculated the correct value in this manner, we can then use it with the appropriate t distribution as noted above.

gung - Reinstate Monica
fonte