Um revisor meu está perguntando por que motivo usei dados não ponderados, em vez de dados ponderados. Eu discuti o assunto com um estatístico e sua resposta foi ao longo das linhas de
Se você tiver observações independentes e fizer a média geral, sua variação será sempre menor que a variação de uma média ponderada como estimador. ... Portanto, os intervalos de confiança serão ampliados!
Desde então, encontrei a seguinte pergunta neste site e, pelo meu entendimento, eles sugerem que a variação deve ser a mesma. Assim, alguém, por favor, com uma mente estatisticamente mais talentosa que a minha, por favor, confirme a resposta do estatístico e explique em termos leigos a teoria, ou com um exemplo elaborado.
variance
weighted-mean
weighted-data
user08041991
fonte
fonte
Respostas:
Sua pergunta vinculada está abordando o uso de pesos como um atalho para lidar com a variação igualmente ponderada por ponto de dados, na qual alguns pontos de dados ocorrem mais de uma vez.
O @whuber abordou em um comentário a situação em que as variações de todos os pontos de dados são iguais. Então, vou abordar a situação em que eles não são iguais. É nessa situação que a média ponderada ideal produz uma variação menor do que a média não ponderada, ou seja, igualmente ponderada.
A média ponderada, usando os pesos , é igual a e tem variação = . Portanto, desejamos minimizar , sujeito a e para todos os i.Σ n i = 1 w i x i Σ n i = 1 w 2 i V a r ( x i ) Σ nWEu Σni = 1WEuxEu Σni = 1W2EuVa r ( xEu) Σ n i = 1 wi=1wi≥0Σni = 1W2EuVa r ( xEu) Σni = 1WEu= 1 WEu≥ 0
As condições de Karush-Kuhn-Tucker, necessárias e suficientes para um mínimo global para esse problema, uma vez que se trata de um problema de programação quadrática convexa, resultam em uma solução de formulário fechado, a saber:
O ideal para 1 = 1 .. n.WEu= [ 1 / Va r ( xEu) ] / Σnj = 1[ 1 / Va r ( xj) ]
A variação da média ponderada ótima correspondente = .1 / Σni =1[ 1/ Va r (xEu) ]
Por outro lado, ponderação igual significa para todos os i, onde n é o número de pontos de dados. Conforme apontado pelo whuber, pesos iguais são ótimos se todas as variações de pontos de dados forem iguais, o que pode ser visto na fórmula acima para o ideal . No entanto, como é evidente por essa fórmula, pesos iguais não são ideais se as variações dos pontos de dados não forem todos iguais e, de fato, resultam em uma variação maior (da média ponderada) do que os pesos ideais. A variação da média ponderada igualmente, ou seja, a variação da média ponderada usando pesos iguais = . wi1WEu=1n WEu 1n2Σni = 1Va r ( xEu)
Aqui estão alguns resultados numéricos de exemplo:
Obviamente, é possível que a média ponderada tenha uma variação maior do que a média não ponderada, se os pesos forem escolhidos de maneira inadequada. Ao escolher a ponderação de 1 no ponto de dados com maior variação e 0 para todos os outros pontos de dados, a média ponderada teria variação = a maior variação de qualquer ponto de dados. Este exemplo extremo seria o resultado de maximizar, em vez de minimizar, o problema de otimização que expus.
fonte
Aqui está um exemplo simples usando o e formas da variação:1n∑Eu( xEu- 1n∑jxj)2 1∑kWk∑EuWEu( xEu- 1∑kWk∑jWjxj)2
Suponha que sua população tenha medidas .20 , 30 , 40 , 50
Este exemplo é consistente com o meu comentário de que a citação do seu estatístico provavelmente é verdadeira para uma população com uma distribuição unimodal, embora não precise ser verdadeira em geral.
Suponho que o ponto é que, se você estiver citando a média ponderada, provavelmente deverá associá-la à variação ponderada. Se, de fato, sua média é o resultado da amostra, o erro padrão da média ponderada da amostra é um cálculo mais complicado.
fonte