Relação entre a soma dos RVs gaussianos e a mistura gaussiana

13

Eu sei que uma soma de gaussianos é gaussiana. Então, como é diferente uma mistura de gaussianos?

Quero dizer, uma mistura de gaussianos é apenas uma soma de gaussianos (onde cada gaussiano é multiplicado pelo respectivo coeficiente de mistura), certo?

njk
fonte
7
Uma mistura de gaussianos é uma soma ponderada de densidades gaussianas , não uma soma ponderada de variáveis ​​aleatórias gaussianas.
probabilityislogic

Respostas:

7

Uma soma ponderada das variáveis ​​aleatórias gaussianas p i = 1 β i X i é uma variável aleatória gaussiana : se ( X 1 , , X p ) N p ( μ , Σ ) então β T ( X 1 , , X p ) N 1 ( βX1,...,Xp

Eu=1pβEuXEu
(X1,...,Xp)Np(μ,Σ)
βT(X1,...,Xp)N1(βTμ,βTΣβ)

Uma mistura de densidades gaussianas tem uma densidade dada como uma soma ponderada das densidades gaussianas : que quase invariavelmente não é igual a um gaussiano densidade. Veja, por exemplo, a densidade azul estimada da mistura abaixo (onde a faixa amarela é uma medida da variabilidade da mistura estimada):

f(;θ)=Eu=1pωEuφ(;μEu,σEu)
insira a descrição da imagem aqui

[Fonte: Marin e Robert, Bayesian Core , 2007]

Xf(;θ)

X=Eu=1pEu(Z=Eu)XEu=XZ
XEuNp(μEu,σEu)ZP(Z=Eu)=ωEu
ZM(1;ω1,...,ωp)
Xi'an
fonte
3

E aqui está um código R para complementar a resposta @ Xi'an:

par(mfrow=c(2,1))
nsamples <- 100000

# Sum of two Gaussians
x1 <- rnorm(nsamples, mean=-10, sd=1)
x2 <- rnorm(nsamples, mean=10, sd=1)
hist(x1+x2, breaks=100)

# Mixture of two Gaussians
z <- runif(nsamples)<0.5 # assume mixture coefficients are (0.5,0.5)
x1_x2 <- rnorm(nsamples,mean=ifelse(z,-10,10),sd=1)
hist(x1_x2,breaks=100)

insira a descrição da imagem aqui

Alberto
fonte
1

A distribuição da soma de variáveis ​​aleatórias independentes é a convolução de suas distribuições. Como você observou, a convolução de dois gaussianos é gaussiana.

X,YZXYZ=XZ=Y

entenda
fonte
Graças a nós. Eu sei que o exemplo a seguir está inerentemente errado, mas pode ser interessante de qualquer maneira: digamos que temos um tipo especial de "mistura" (se ainda podemos chamá-lo de "mistura") de 2 densidades gaussianas, onde os coeficientes de mistura são ambos correspondentes a 1, isso seria o mesmo de uma soma de RVs gaussianos?
NJK
Não, embora sua mistura rv seja gaussiana nesse caso, se você adicionar dois RVs com a distribuição do componente, a soma RV terá mais variação do que a mistura RV.
enthdegree
@enthdegree Como a mistura é gaussiana? Ainda poderia ser bimodal se os meios não coincidirem, certo?
aprendendo
@ learning, Sim, você está certo. Quando eu escrevi o prev. por algum motivo, presumi que eles tivessem a mesma média.
enthdegree