Desenhando amostras de uma mistura finita de distribuições normais?

Após algumas etapas de atualização bayesiana, fiquei com uma distribuição posterior da forma de uma mistura de distribuições normais,Ou seja, o parâmetro é obtido de uma distribuição cujo PDF é fornecido como uma mistura ponderada de PDFs normais e não é uma soma dos RVs normais. Eu gostaria de desenhar amostras para usar em uma aproximação de amostragem importante deste posterior. Na prática, a soma sobre pode ter um grande número de termos, para que seja impraticável escolher um termo acordo com os pesos e depois desenhar

Pr (θ | data) = \sum_{i = 1}^{k} w_{i} N (μ_{i}, σ^{2}) .

$\Pr(\theta| \text{data} ) = \sum_{i=1}^k w_i N(\mu_i, \sigma^2).$

θ

$\theta$

θ \sim Pr (θ | data)

$\theta\sim\Pr(\theta|\text{data})$

i

$i$

i

$i$

{w_{i}}

$\{w_i\}$

θ \sim N (μ_{i}, σ^{2})

$\theta\sim N(\mu_i, \sigma^2)$ . Existe uma maneira eficiente de extrair amostras de um posterior deste formulário?

monte-carlo probability Chris Granade
fonte

Você já tentou o método select then throw? A seleção pode ser feita razoavelmente rápido dos O (k) passos seguintes.

dmckee --- ex-moderador gatinho

Se a solução da Barron realmente não está correta e você de fato quer dizer um "modelo de mistura", poderia usar esse termo?

Neil G

Neil G: Eu não sou um estatístico de profissão, mas um físico que às vezes precisa fazer uso de estatística. Como tal, não conhecia o termo apropriado para descrever o que precisava. No entanto, posso continuar e editar a pergunta agora, para deixar mais claro que os PDFs estão sendo somados e não os RVs.

Chris Granade

@ ChrisGranade: Eu não estava tentando te atacar. Eu só queria ter certeza de que era isso o que você queria dizer e sugerir a edição.

Neil G

Por que é impraticável escolher base nos pesos e em uma amostra da distribuição uniforme em , depois na amostra ? Isso é apenas moderadamente mais caro do que amostrar uma única distribuição normal, o custo é independente do número de distribuições mistas e não depende dessas distribuições serem normais.

i

$i$

{w_{i}}

$\{w_i\}$

[0, 1]

$[0,1]$

N (μ_{i}, σ^{2})

$N(\mu_i,\sigma^2)$

k

$k$

Jed Brown

Respostas:

Em princípio, pode-se pré-selecionar o número de amostras a serem retiradas de cada subdistribuição, depois visitar cada subdistribuição apenas uma vez e desenhar o número de pontos.

Isso é

Encontre o conjunto aleatório forma que e respeitando os pesos. $<n_1, n_2, \dots, n_k>$ $n = \sum_{i=1}^k n_i$

Acredito que você faça isso ~~desenhando uma distribuição Poisson uma distribuição~~ multinomial (veja os comentários) da média para cada subdistribuição e normalizando a soma para . $w_i * n$ $n$

O trabalho aqui é $\mathcal{O}(k) * \mathcal{O}(n)$

Então faça

for (i=1; i<=k; ++i)
   for (j=1; j<=n[i]; ++j)
      theta ~ N(mu[i],sigma[i])

O trabalho aqui é $\mathcal{O}(n)$

Embora isso signifique que você não recebe a ordem aleatoriamente. Se a ordem aleatória for necessária, você deve embaralhar os draws (também grande ). $\mathcal{O}(n)$

Parece que o primeiro passo é dominar em tempo de execução e da mesma ordem que o algoritmo ingênuo, mas se você tiver certeza de que todo o poderá aproximar as distribuições de Poisson das distribuições normais e acelerar o primeiro passo. $w_i * n \gg 1$

dmckee --- gatinho ex-moderador
fonte

A distribuição do não é uma distribuição de Poisson se for fixo, mas uma distribuição binomial.

n_{i}

$n_i$

n

$n$

Frédéric Grosshans

@ FrédéricGrosshans Uhm ... aqui é onde eu admito minha fraqueza angustiante em probabilidade. Olhando, acho que você pode estar certo. Não tenho um link para lançar distribuições binomiais arbitrárias, mas a wikipedia tem algumas referências . Há também uma relação entre Poisson e Binomial, que vou afirmar ser responsável pela minha incerteza. Sim, esse é o bilhete.

dmckee --- ex-moderador gatinho

@dmckee: Boa resposta para a elaboração de um modelo de mistura, exceto que ele deve ser uma distribuição multinomial, em vez de uma distribuição de Poisson na etapa 1.

Neil G

Nota: A versão original desta pergunta perguntou sobre uma "soma ponderada de distribuições normais" para a qual a resposta a seguir pode ser útil. No entanto, após uma boa discussão sobre essa resposta, a resposta de @Geoff e a própria pergunta, ficou claro que a pergunta estava realmente na amostragem de uma "mistura de distribuições normais" à qual essa resposta não é aplicável.

A soma das distribuições normais é uma distribuição normal, portanto, você pode calcular os parâmetros dessa distribuição única e simplesmente tirar amostras disso. Se chamarmos essa distribuição , então, $N(\mu_{sum},\sigma_{sum}^2)$

μ_{s u m} = \sum_{i = 1}^{k} w_{i} μ_{i}

$\mu_{sum} = \sum_{i=1}^k w_i\mu_i$

σ_{s u m}^{2} = \sum_{i = 1}^{k} w_{i}^{2} σ_{i}^{2}

$\sigma_{sum}^2=\sum_{i=1}^k w_i^2 \sigma_i^2$

Barron
fonte

Para resumir, Chris está somando funções de densidade de probabilidade, não variáveis aleatórias.

Geoff Oxberry

Chris quer um PDF com (pelo menos em princípio) vários solavancos. Ou seja, ele era a soma dos PDFs, não o PDF de uma soma.

dmckee --- ex-moderador gatinho

É verdade que a soma de variáveis aleatórias distribuídas normalmente é ela própria uma variável aleatória distribuída normalmente. No entanto, a soma das distribuições normais não é uma distribuição normal. Portanto, se e , é verdade que , mas . (Crédito vai para @ChrisGranade para a explicação.)

X_{1} \sim N (μ_{1}, σ_{1}^{2})

$X_{1} \sim N(\mu_{1},\sigma_{1}^2)$

X_{2} \sim N (μ_{2}, σ_{2}^{2})

$X_{2} \sim N(\mu_{2}, \sigma_{2}^{2})$

X_{1} + X_{2} \sim N (μ_{1} + μ_{2}, σ_{1}^{2} + σ_{2}^{2})

$X_{1} + X_{2} \sim N(\mu_{1} + \mu_{2}, \sigma_{1}^{2} + \sigma_{2}^{2})$

P D F (X_{1} + X_{2}) \neq P D F (X_{1}) + P D F (X_{2})

$PDF(X_{1} + X_{2}) \neq PDF(X_{1}) + PDF(X_{2})$

Geoff Oxberry

@dmckee: não é uma "soma ponderada de distribuições normais", é uma "mistura de distribuições normais".

Neil G

Os comentários do @Barron não são considerados uma parte essencial da página. Você definitivamente deve editar sua resposta para incluir a essência dos comentários, para que os leitores que não olham para os comentários não sejam enganados.

David Ketcheson

Atualização : Esta resposta está incorreta, decorrente de confusão na terminologia (consulte a cadeia de comentários abaixo para obter detalhes); Só estou deixando isso como um guia para que as pessoas não repassem essa resposta (além de Barron). Por favor, não vote para cima ou para baixo.

Eu apenas usaria propriedades de variáveis aleatórias para reduzi-lo a uma única variável aleatória normalmente distribuída. A soma de duas variáveis aleatórias independentes distribuídas normalmente é ela própria uma variável aleatória , portanto, se e , então $X_{1} \sim N(\mu_{1}, \sigma_{1}^{2})$ $X_{2} \sim N(\mu_{2}, \sigma_{2}^{2})$

X_{1} + X_{2} \sim N (μ_{1} + μ_{2}, σ_{1}^{2} + σ_{2}^{2}) .

$X_{1} + X_{2} \sim N(\mu_{1} + \mu_{2}, \sigma_{1}^{2} + \sigma_{2}^{2}).$

Além disso, se , então $w_{1} \in \mathbb{R}$

w_{1} X_{1} \sim N (w_{1} μ_{1}, w_{1}^{2} σ_{1}^{2}) .

$w_{1}X_{1} \sim N(w_{1}\mu_{1}, w_{1}^{2}\sigma_{1}^{2}).$

Usando esses dois resultados combinados,

P r (θ | d a t a) \sim N (\sum_{i = 1}^{k} w_{i} μ_{i}, \sum_{i = 1}^{k} w_{i}^{2} σ_{i}^{2}) .

$Pr(\theta | \rm{data}) \sim N\big(\sum_{i=1}^{k}w_{i}\mu_{i}, \sum_{i=1}^{k}w_{i}^{2}\sigma_{i}^{2}\big).$

Portanto, nesse caso, você só precisará extrair amostras de uma única distribuição, o que deve ser muito mais tratável.

Geoff Oxberry
fonte

Esta é a solução para um problema diferente, que pode ser visto pelo fato de a distribuição original ser multimodal e sua sugestão ser unmodal.

31812 Chris Ferrie

@ ChrisFerrie: Eu acredito em você, mas com base na notação, estou confuso sobre o motivo pelo qual a distribuição acima seria multimodal, enquanto a soma de duas variáveis aleatórias gaussianas independentes não seria. O que estou perdendo aqui?

Geoff Oxberry

Acho que a confusão é que não estamos vendo uma soma de variáveis aleatórias, mas um PDF que é a soma de muitos PDFs. Nem sempre são os mesmos, pois . Em vez disso, nosso PDF pode ser considerado marginalizante sobre a variável aleatória .

p (X_{1} + X_{2}) \neq p (X_{1}) + p (X_{2})

$p(X_1 + X_2)\ne p(X_1) + p(X_2)$

i

$i$

Chris Granade

Ah, você está vendo somas de PDFs. Sim, isso é um animal completamente diferente. Agora que li a pergunta mais de perto, entendi o que você está dizendo e vou excluir minha resposta. Obrigado!

Geoff Oxberry

Anulei minha resposta excluída anteriormente apenas para servir como guia para os outros, para que ninguém mais responda a essa pergunta como Barron e eu. Por favor, não vote mais na minha resposta.

Geoff Oxberry