Erro sistemático / de medição em regressão linear

Suponha que eu tenha um conjunto de dados no qual a incerteza nas medições (provenientes da propagação de erros sistemáticos do aparato de medição) seja diferente para cada ponto. Se eu fizer uma regressão linear no conjunto de dados, como calculo a incerteza na inclinação? Eu gostaria de um procedimento explícito ou fórmula.${(x_i,y_i)}$${(\Delta x_i,\Delta y_i)}$

Podemos modelar o experimento como onde denota valores verdadeiros, são erros de medição, são seus componentes "fixos" independentes da observação (que podem surgir da calibração incorreta dos sensores) e variam de observação para observação e correspondem a muitos fatores possíveis que tratamos como aleatórios.y i = y * i + ~ v i ~ u i = ˉ u + v i ~ v i = ˉ v + u i x * i , y * i ~ L i , ~ v i ˉ u , ˉ v u ,

$$x_i=x_i^*+\tilde u_i$$ $$y_i=y_i^*+\tilde v_i$$ $$\tilde u_i=\bar u + v_i$$ $$\tilde v_i=\bar v + u_i$$ $x_i^*, y_i^*$$\tilde u_i,\tilde v_i$$\bar u,\bar v$$u,v$

A regressão linear simples é e a estimativa OLS da inclinação é O que obtemos é, no entanto,β = C O v ( x * , y *

$$y_i^*=\alpha+\beta x_i^*+e_i$$ ˜ β =Cov(x,y $$\hat\beta=\frac{Cov(x^*,y^*)}{Var(x^*)}$$ $$\tilde\beta=\frac{Cov(x,y)}{Var(x)}=\frac{Cov(x^* + u,y^*+ v)}{Var(x^* + u)}=\frac{Cov(x^*,y^*)+Cov(x^*,v)+Cov(y^*,u)+Cov(u,v)}{Var(x^*) + Var(u) + 2Cov(x,u)}$$

Agora vamos supor que não esteja correlacionado com e entre si (uma suposição bastante forte que pode ser aprimorada se tivermos mais inferências sobre a natureza dos erros). Então nossa estimativa é Podemos estimar como variação amostral de . Também precisamos estimar . Se temos um experimento em que podemos observar várias vezes, uma abordagem simples é estimar ].$v,u$$x^*,y^*$

$$\tilde\beta=\beta\frac{\sigma^2_{x^*}}{\sigma^2_{x^*}+\sigma^2_{u}}\approx\beta\frac{\hat\sigma^2_x-\hat\sigma^2_u}{\hat\sigma^2_x}=\beta\hat\lambda$$ $\hat\sigma^2_x$$x_i$$\sigma^2_u$$x^*_i$$\sigma^2_u=E[\sigma^2_x|x^*_i$

Agora podemos usar nosso calculado com, por exemplo, o método de autoinicialização e corrigi-lo para para que .$\hat\sigma^2_{\tilde\beta}$$\hat\beta =\tilde\beta /\hat\lambda$

$$\hat\sigma^2_{\hat\beta}=\frac{\hat\sigma^2_{\tilde\beta}}{\hat\lambda^2}$$

Eu acho que a resposta dada por @yshilov é definitivamente incrível, considerando o erro de medição no termo do erro e, significativamente, deduz o resultado

$$\tilde \beta = \beta \frac{\sigma_x^2}{\sigma_x^2 + \sigma_u^2}$$

Para elaborar, essa versão beta possui propriedades especiais que é um estimador enviesado, mas enviesado para 0. Especificamente, para regressão linear,$E(\hat \beta_1)=\beta_1 \cdot\Big[\frac{\sigma_x^2+\sigma_{x\delta}}{\sigma_x^2+2\sigma_{x\delta}+\sigma_{\delta}^2}\Big]$

A prova é a seguinte: em regressão linear simples, lembre-se No caso de erro de medição, temos , e , então obtemos Supondo que , , e a variação do valor preditivo verdadeiro

$$\hat \beta_1 = \frac{\sum_{i=1}^n(x_i-\bar x)y_i}{\sum_{i=1}^n(x_i-\bar x)^2}$$ $x_i^O=x_i^A=\delta_i$$y_i^O=y_i^A+\epsilon_i$$y_i^A=\beta_0 +\beta_1 x_i^A$ $$y_i^O=\beta_0+\beta_1(x_i^O-\delta_i)+\epsilon_i=\beta_0+\beta_1x_i^O+(\epsilon_i-\beta_1 \delta_i)$$ $E(\epsilon_i)=E(\delta_i)=0$$var(\epsilon_i)=\sigma_{\epsilon}^2$$var(\delta_i)=\sigma_{\delta}^2 = \frac{1}{n}\sum_{i=1}^n(\delta_i-\bar \delta)^2$$\sigma_{x}^2=\frac{\sum(x_i^A-\bar {x^A})^2}{n}$e correlação de verdadeiro preditor e erro , em seguida,$\sigma_{x \delta}=cov(x^A,\delta)= \frac{1}{n}\sum_{i=1}^n(x_i^A-\bar {x_i^A})(\delta_i- \bar \delta)$

$$cov(x_i^O,\delta)=E(x_i^O\delta)-E(x_i^O)\cdot E(\delta)=E(x_i^O\delta)=E[(x_i^A+\delta)\delta]=E(x_i^A \delta)+E(\delta^2)$$ $$=\big[E(x_i^A \delta)-E(x_i^A)\cdot E(\delta)\big]+\big[var(\delta)+[E(\delta)]^2\big]=cov(x_i^A,\delta)+\sigma_{\delta}^2=\sigma_{x\delta}+\sigma_{\delta}^2$$ Então, por e propriedade de bilinearidade em covariância, a expectativa de é $\bar x = E(x_i)$$\hat \beta_1$ $$E(\hat \beta_1)=E\Big[\frac{\sum_{i=1}^n(x_i^O-\bar x^O)y_i^O}{\sum_{i=1}^n(x_i^O-\bar x^O)^2}\Big]=\frac{E(\sum_{i=1}^nx^O_iy_i^O)-E(\sum_{i=1}^n \bar x^Oy_i^O)}{\sum_{i=1}^n E\big[(x_i^O-E(x_i^O))^2\big]}=\frac{E(\sum_{i=1}^nx_i^Oy_i^O)-E(x_i^O)\cdot E(\sum_{i=1}^n y_i^O)}{\sum_{i=1}^nvar(x_i^O)}$$ $$=\frac{\sum_{i=1}^ncov(y_i^O,x_i^O)}{\sum_{i=1}^nvar(x_i^O)}=\frac{\sum_{i=1}^ncov(\beta_0+\beta_1x_i^O+\epsilon_i-\beta_1\delta_i,~x_i^O)}{\sum_{i=1}^nvar(x_i^O)}=\frac{\beta_1\cdot \sum_{i=1}^nvar(x_i^O)-\beta_1\cdot \sum_{i=1}^ncov(x_i^O, \delta_i)}{\sum_{i=1}^nvar(x_i^O)}$$ $$=\beta_1 \cdot \Big[ 1-\frac{{\sum_{i=1}^ncov(x_i^O,\delta_i)}/{n}}{\sum_{i=1}^nvar(x_i^A+\delta_i)/n}\Big]=\beta_1 \cdot\Big[1-\frac{\sigma_{x\delta}+\sigma_{\delta}^2}{\sigma_x^2+2cov(x_i^A,\delta_i)+\sigma_{\delta}^2}\Big] =\beta_1 \cdot\Big[\frac{\sigma_x^2+\sigma_{x\delta}}{\sigma_x^2+2\sigma_{x\delta}+\sigma_{\delta}^2}\Big]$$ , conforme desejado. Portanto, o resultado está bem estabelecido.$E(\hat \beta_1)=\beta_1 \cdot\Big[\frac{\sigma_x^2+\sigma_{x\delta}}{\sigma_x^2+2\sigma_{x\delta}+\sigma_{\delta}^2}\Big]$

Eu tenho um problema semelhante - publicado aqui - e ainda não tenho uma resposta certa. O que eu fiz no momento é simplesmente reunir um conjunto de Xs muito semelhantes e verificar se há uma grande variação para Y nessas linhas. Outro tipo de abordagem pode ser uma simulação: você usa um único X do seu conjunto de dados, mas replica as linhas seguindo o erro sistemático dos preditores (algo como rnorm (..., 0,0,3)). O intervalo de confiança para a inclinação pode ser algo semelhante ao intervalo sistemático de erros.

Eu recomendaria uma inicialização paramétrica nos dados. Isso significa gerar novos conjuntos de dados semelhantes ao conjunto de dados real, mas diferentes na extensão implícita pela sua incerteza em cada observação.

Aqui está um pseudocódigo para isso. Observe que estou usando entradas de vetor para rnorm, como é normal na linguagem R. Também estou assumindo que o que você está chamando são erros padrão.$\Delta$

For each b in 1...B:
    x_PB = rnorm(x, x_se)
    y_PB = rnorm(y, y_se)
    r[b] = cor(x_PB, y_PB)

Então observe a distribuição dos valores em r.