Determinando a média verdadeira a partir de observações ruidosas

13

Eu tenho um grande conjunto de pontos de dados do formulário (mean, stdev). Desejo reduzir isso para uma única (melhor) média e um (espero) menor desvio padrão.

É evidente que poderia simplesmente computação , no entanto, isso não leva em conta o fato de que alguns dos pontos de dados são significativamente mais precisos que outros.dumatumameumanN

Simplificando, desejo pré-formar uma média ponderada desses pontos de dados, mas não sei qual deve ser a função de ponderação em termos do desvio padrão.

Michael
fonte

Respostas:

24

Você procura um estimador linear para a média do formulárioμ

μ^=Eu=1nαEuxEu

onde o são os pesos e os x i são as observações. O objetivo é encontrar valores apropriados para os pesos. Seja σ i o verdadeiro desvio padrão de x i , que pode ou não coincidir com o desvio padrão estimado que você provavelmente possui. Suponha que as observações sejam imparciais; isto é, todas as expectativas são iguais à média μ . Nestes termos, podemos calcular que a expectativa de μ éαEuxEuσEuxEuμμ^

E[μ^]=Eu=1nαEuE[xEu]=μEu=1nαEu

e (desde que não esteja correlacionado), a variação deste estimador éxEu

Var[μ^]=Eu=1nαEu2σEu2.

Nesse ponto, muitas pessoas exigem que o estimador seja imparcial; isto é, queremos que sua expectativa seja igual à verdadeira média. Isso implica que os pesos devem somar à unidade. Sujeito a essa restrição, a precisão do estimador (medida com erro quadrático médio) é otimizada minimizando a variação. A solução exclusiva (facilmente obtida com um multiplicador de Lagrange ou reinterpretando a situação geometricamente como um problema de minimização de distância) é que os pesos devem ser proporcionais a 1 / σ 2 i . αEu1/σEu2 A restrição de soma à unidade estabelece seus valores, produzindo

μ^=Eu=1nxEu/σEu2Eu=1n1/σEu2

e

Var[μ^]=1Eu=1n1/σEu2=1n(1nEu=1n1σEu2)-1.

Em palavras,

1/n

σEu

whuber
fonte
1
e relacionado a esta resposta, também da whuber: stats.stackexchange.com/questions/9071/…
Henry
O que aconteceria se não "assumimos que as observações são imparciais"? Com essa afirmação, você está dizendo que, se infinitas medidas individuais aleatórias forem adicionadas à observaçãoxEunós obtemos o mu médio?
precisa saber é o seguinte