Qual é a variação da mistura ponderada de dois gaussianos?

39

Digamos que eu tenha duas distribuições normais A e B com médias e e variações e . Quero dar uma mistura ponderada destas duas distribuições utilizando pesos e onde e . Eu sei que a média dessa mistura seria .μ B σ A σ B p q 0 p 1 q = 1 - p μ A B = ( p × μ A ) + ( q × μ B )μAμBσAσBpq0p1q=1pμAB=(p×μA)+(q×μB)

Qual seria a variação?


Um exemplo concreto seria se eu conhecesse os parâmetros para a distribuição da altura masculina e feminina. Se eu tivesse uma sala com 60% de homens, eu poderia produzir a altura média esperada para toda a sala, mas e a variação?

JoFrhwld
fonte
Re terminologia: A mistura simplesmente tem uma média e uma variação; não há sentido na qualificação destes como "espera", a menos que você talvez insinuando que p e q devem ser consideradas variáveis aleatórias.
whuber
Eu sei que a mistura de duas distribuições gaussianas é identificável. Mas se as duas distribuições tiverem os mesmos emans? Ou seja :, é identificável a mistura de duas distribuições normais com os mesmos meios e diferentes desvios-padrão? Existem trabalhos neste contexto? Obrigado antecipadamente
11
Há uma pergunta semelhante com respostas (que lidam também com as covariâncias) aqui: math.stackexchange.com/q/195911/96547
hplieninger

Respostas:

63

A variação é o segundo momento menos o quadrado do primeiro momento; portanto, basta calcular os momentos das misturas.

Em geral, dadas as distribuições com PDFs e pesos constantes (não aleatórios) p i , o PDF da mistura éfipi

f(x)=ipifi(x),

do qual resulta imediatamente para qualquer momento quek

μ(k)=Ef[xk]=ipiEfi[xk]=ipiμi(k).

Escrevi para o momento k t h de f e μ ( k ) i para o momento k t h de f i .μ(k)kthfμi(k)kthfi

Usando essas fórmulas, a variação pode ser escrita

Var(f)=μ(2)(μ(1))2=ipiμi(2)(ipiμi(1))2.

Equivalentemente, se as variações de são dadas como σ 2 i , então μ ( 2 ) i = σ 2 i + ( μ ( 1 ) i ) 2 , permitindo que a variação da mistura f seja escrita em termos de variações e meios de seus componentes comofiσi2μEu(2)=σEu2+(μEu(1 1))2f

Var(f)=ipi(σi2+(μi(1))2)(ipiμi(1))2=ipiσi2+ipi(μi(1))2(ipiμi(1))2.

Em palavras, essa é a variação média (ponderada) mais a média quadrática média menos o quadrado da média média. Como o quadrado é uma função convexa, a Desigualdade de Jensen afirma que a média quadrática média não pode ser menor que o quadrado da média média. Isso nos permite entender a fórmula como declarar que a variação da mistura é a mistura das variações mais um termo não negativo que explica a dispersão (ponderada) dos meios.

No seu caso, a variação é

pAσA2+pBσB2+[pAμA2+pBμB2(pAμA+pBμB)2].

Podemos interpretar que essa é uma mistura ponderada das duas variâncias, , mais um termo de correção (necessariamente positivo) para levar em conta as mudanças das médias individuais em relação à média geral da mistura.pAσA2+pBσB2

A utilidade dessa variação na interpretação dos dados, como a apresentada na pergunta, é duvidosa, porque a distribuição da mistura não será Normal (e pode se afastar substancialmente dela, na medida em que a bimodalidade seja exibida).

whuber
fonte
8
Em particular, observando que , sua última expressão simplifica para σ 2 = μ ( 2 ) - μ 2 = p A σ 2 A + p B σ 2 B + p A p B ( μ A - μ B ) 2 . pA+pB=1σ2=μ(2)μ2=pAσA2+pBσB2+pApB(μAμB)2
Ilmari Karonen
2
Ou, se impusermos uma explicação probabilística para uma densidade de mistura (existe um evento de probabilidade p A e a densidade condicional de X dada A é N ( μ A , σ 2 A ) enquanto a densidade condicional de X dada A c = B é N ( μ B , σ 2 B ) ) e, em seguida, var ( X )ApAXAN(μA,σA2)XAc=BN(μB,σB2)(X)é a soma da média da variação condicional mais a variação da média condicional. O último é um RV discreta com valores u A , μ B com probabilidades p e q e a sua expressão em colchetes é prontamente reconhecido para ser E [ Y 2 ] - ( E [ Y ] ) 2 . YμA,μBpqE[Y2](E[Y])2
Dilip Sarwate
11
@ Neodyme Por definição, a variação é o segundo momento menos a média ao quadrado. Portanto, o segundo momento é a variação mais a média ao quadrado.
whuber
11
@ Neodyme use . E(X)=μ
whuber
11
@ Kiran Embora em alguns casos a mistura possa parecer normal, não será. Uma maneira de ver isso é calcular o excesso de curtose usando as fórmulas fornecidas aqui. Será diferente de zero, a menos que todos os desvios padrão sejam iguais - nesse caso, a "mistura" não é realmente uma mistura em primeiro lugar.
whuber