Cálculo do erro padrão na estimativa da média ponderada

Suponha que $w_1,w_2,\ldots,w_n$ e $x_1,x_2,...,x_n$ são cada iid extraído de algumas distribuições, com $w_i$ independente de $x_i$ . O $w_i$ é estritamente positivo. Você observa todo o $w_i$ , mas não o $x_i$ ; em vez disso você observa $\sum_i x_i w_i$ . Estou interessado em estimar $\operatorname{E}\left[x\right]$ partir desta informação. Claramente, o estimador

\bar{x} = \frac{\sum_{i} w_{i} x_{i}}{\sum_{i} w_{i}}

$\bar{x} = \frac{\sum_i w_i x_i}{\sum_i w_i}$ é imparcial, e pode ser calculada tendo em conta a informação na mão.

Como posso calcular o erro padrão deste estimador? Para o sub-caso em que $x_i$ obtém apenas os valores 0 e 1, tentei ingenuamente

s e \approx \frac{\sqrt{\bar{x} (1 - \bar{x}) \sum_{i} w_{i}^{2}}}{\sum_{i} w_{i}},

$se \approx \frac{\sqrt{\bar{x}(1-\bar{x})\sum_i w_i^2}}{\sum_i w_i},$ basicamente ignorando a variabilidade na

w_{i}

$w_i$ , mas descobriu que este mau desempenho de amostras de tamanho menor do que em torno de 250. (E isso provavelmente depende da variação do

.) Parece que talvez eu não fazer tenha informações suficientes para calcular um erro padrão 'melhor'.

w_{i}

$w_i$

standard-error weighted-mean shabbychef
fonte

Respostas:

Encontrei o mesmo problema recentemente. A seguir, o que eu encontrei:

Diferentemente de uma amostra aleatória simples com pesos iguais, não existe uma definição amplamente aceita de erro padrão da média ponderada . Hoje em dia, seria fácil executar uma inicialização e obter a distribuição empírica da média e, com base nessa estimativa, o erro padrão.

E se alguém quisesse usar uma fórmula para fazer essa estimativa?

A principal referência é este artigo , de Donald F. Gatz e Luther Smith, onde três estimadores baseados em fórmulas são comparados com os resultados de bootstrap. A melhor aproximação ao resultado do bootstrap vem de Cochran (1977):

$(SEM_w)^2={\dfrac{n}{(n-1)(\sum {P_i})^2}}[\sum (P_i X_i-\bar{P}\bar{X}_w)^2-2 \bar{X}_w \sum (P_i-\bar{P})(P_i X_i-\bar{P}\bar{X}_w)+\bar{X}^2_w \sum (P_i-\bar{P})^2]$

A seguir, está o código R correspondente que veio desse encadeamento do R listserve .

weighted.var.se <- function(x, w, na.rm=FALSE)
#  Computes the variance of a weighted mean following Cochran 1977 definition
{
  if (na.rm) { w <- w[i <- !is.na(x)]; x <- x[i] }
  n = length(w)
  xWbar = weighted.mean(x,w,na.rm=na.rm)
  wbar = mean(w)
  out = n/((n-1)*sum(w)^2)*(sum((w*x-wbar*xWbar)^2)-2*xWbar*sum((w-wbar)*(w*x-wbar*xWbar))+xWbar^2*sum((w-wbar)^2))
  return(out)
}

Espero que isto ajude!

Ming K
fonte

Isso é muito legal, mas para o meu problema que eu nem sequer observar a

, em vez observo a soma

. Minha pergunta é muito estranha porque envolve alguma assimetria de informação (um terceiro está relatando a soma e tentando talvez ocultar alguma informação).

P_{i} X_{i}

$P_iX_i$

\sum_{i} P_{i} X_{i}

$\sum_i P_iX_i$

shabbychef

Puxa, você está certo, desculpe, eu não entendi completamente a pergunta que você fez. Suponha que ferver o seu problema até o caso mais simples onde todos

são Bernoulli RV. Então você está essencialmente observando a soma de um subconjunto aleatório de

RVs. Meu palpite é que não há muita informação aqui para se estimar. Então, o que você acabou fazendo pelo seu problema original?

w_{i}

$w_i$

n

$n$

Ming K

@ Ming-ChihKao esta fórmula cochran é interessante, mas se você construir um intervalo de confiança com isso quando os dados não forem normais, não há uma interpretação consistente correta? Como você lidaria com intervalos médios de confiança médios ponderados não normais? Quantis ponderados?

user3022875

Eu acho que há um erro com a função. Se você substituir w=rep(1, length(x)), então weighted.var.se(rnorm(50), rep(1, 50))é sobre 0.014. Eu acho que falta a fórmula sum(w^2)no numerador, desde quando P=1, a variação é 1/(n*(n-1)) * sum((x-xbar)^2). Não posso verificar o artigo citado, pois está atrás de um paywall, mas acho essa correção. Curiosamente, a solução (diferente) da Wikipedia se deteriora quando todos os pesos são iguais: en.wikipedia.org/wiki/… .

Max Candocia

Isso pode funcionar melhor em geral: analyticalgroup.com/download/WEIGHTED_MEAN.pdf

Max Candocia

$w_i$

\frac{\sum w_{i}^{2} V a r (X)}{(\sum w_{i})^{2}} = V a r (X) \frac{\sum w_{i}^{2}}{(\sum w_{i})^{2}} .

$\frac{\sum w_i^2 Var(X)}{(\sum w_i)^2} = Var(X) \frac{\sum w_i^2 }{(\sum w_i)^2}.$

w_{i}

$w_i$

V a r (X) E (\frac{\sum w_{i}^{2}}{(\sum w_{i})^{2}})

$Var(X) \mathbb{E}\left(\frac{\sum w_i^2 }{(\sum w_i)^2}\right)$

X_{i}

$X_i$

V a r (X)

$Var(X)$ , without making rather severe assumptions.

guest
fonte

at least in the specific case where

x_{i}

$x_i$ have a Bernoulli distribution I can estimate the variance of

x

$x$ by

\bar{x} (1 - \bar{x})

$\bar{x}(1-\bar{x})$ as noted above. Even in this case, as noted in the question, I need a larger sample size than I would have expected.

shabbychef