Determinando a média verdadeira a partir de observações ruidosas

Eu tenho um grande conjunto de pontos de dados do formulário (mean, stdev). Desejo reduzir isso para uma única (melhor) média e um (espero) menor desvio padrão.

É evidente que poderia simplesmente computação , no entanto, isso não leva em conta o fato de que alguns dos pontos de dados são significativamente mais precisos que outros.$\frac{\sum data_{mean}}{N}$

Simplificando, desejo pré-formar uma média ponderada desses pontos de dados, mas não sei qual deve ser a função de ponderação em termos do desvio padrão.

Você procura um estimador linear para a média do formulário$\mu$

$$\hat{\mu} = \sum_{i=1}^{n} \alpha_i x_i$$

onde o são os pesos e os x i são as observações. O objetivo é encontrar valores apropriados para os pesos. Seja σ i o verdadeiro desvio padrão de x i , que pode ou não coincidir com o desvio padrão estimado que você provavelmente possui. Suponha que as observações sejam imparciais; isto é, todas as expectativas são iguais à média μ . Nestes termos, podemos calcular que a expectativa de μ é$\alpha_i$$x_i$$\sigma_i$$x_i$$\mu$$\hat{\mu}$

$$\mathbb{E}[\hat{\mu}] = \sum_{i=1}^{n} \alpha_i \mathbb{E}[x_i] = \mu \sum_{i=1}^{n} \alpha_i$$

e (desde que não esteja correlacionado), a variação deste estimador é$x_i$

$$\operatorname{Var}\left[\hat{\mu}\right] = \sum_{i=1}^{n} \alpha_i^2 \sigma_i^2.$$

Nesse ponto, muitas pessoas exigem que o estimador seja imparcial; isto é, queremos que sua expectativa seja igual à verdadeira média. Isso implica que os pesos devem somar à unidade. Sujeito a essa restrição, a precisão do estimador (medida com erro quadrático médio) é otimizada minimizando a variação. A solução exclusiva (facilmente obtida com um multiplicador de Lagrange ou reinterpretando a situação geometricamente como um problema de minimização de distância) é que os pesos devem ser proporcionais a 1 / σ 2 i . $\alpha_i$$1/\sigma_i^2$ A restrição de soma à unidade estabelece seus valores, produzindo

$$\hat{\mu} = \frac{\sum_{i=1}^{n} x_i / \sigma_i^2}{\sum_{i=1}^{n} 1 / \sigma_i^2}$$

e

$$\operatorname{Var}\left[\hat\mu\right] = \frac{1}{\sum_{i=1}^{n} 1 / \sigma_i^2} = \frac{1}{n} \left(\frac{1}{n} \sum_{i=1}^n \frac{1}{\sigma_i^2}\right)^{-1}.$$

Em palavras,

$1/n$

$\sigma_i$