Os modelos de mistura gaussiana (GMMs) são atraentes porque são simples de trabalhar tanto analiticamente quanto na prática e são capazes de modelar algumas distribuições exóticas sem muita complexidade. Há algumas propriedades analíticas que devemos esperar manter que não são claras em geral. Em particular:
- Diga é a classe de todas as misturas gaussianas com componentes. Para qualquer distribuição contínua sobre os reais, temos a garantia de que, à medida que cresce, podemos aproximar com um GMM com perda insignificante no sentido de entropia relativa? Isto é, faz
- Dizer que temos uma distribuição contínua e encontrámos uma -component Gaussiana mistura P que está próximo de P na variação total: δ ( P , P ) < ε . Podemos obrigado D ( P | | P ) em termos de ε ?
- Se quisermos observar através de ruído aditivo independente (real, contínua), e temos MGM X ~ Q X , Y ~ Q N onde δ ( P , Q ) < ε , então esse valor é pequeno: | m m s e ( X | X + Y ) - m m s e (Ou seja, é verdade que a estimativaatravés dede ruído é de cerca de tão duro como a estimativa de X através Y ruído?
- Você pode fazer isso para modelos de ruído não aditivo como o ruído de Poisson?
Até agora, minha (curta) revisão de literatura acabou com tutoriais muito aplicados. Alguém tem alguma referência que demonstre rigorosamente sob quais condições somos justificados no uso de modelos de mistura?
Respostas:
Em econometria, onde o contexto é de distribuições mistas de coeficientes em modelos logit, a referência padrão é: MODELOS MNL MISTOS PARA RESPOSTA DISCRETA DANIEL MCFADDEN E TREM KENNETH, REVISTA DE ECONOMETRIA APLICADA, J. Appl. Econ. 15: 447-470 (2000).
fonte
Com relação às suas perguntas:
fonte
Aqui está uma resposta parcial.
Não. Você só pode esperar que um KL divergência é pequeno se você sabe que Q 'caudas s, eventualmente, são da mesma ordem que P ' s. Isso não é verdade em geral. Não é difícil de perceber que para P de Cauchy, em seguida, para qualquer n , inf P ∈ S n D ( P | | P ) = ∞D(P∥Q) Q P P n
São necessárias mais condições em para dizer isso.P
Não. O mesmo exemplo acima se aplica.
Não pude provar isso, em geral, ou usando a estrutura aditiva extra que assumimos em P, Q, ou apresentar quaisquer contra-exemplos.
Isso é ambíguo. No contexto da pergunta anterior, se a afirmação nessa resposta puder ser comprovada em geral, então a resposta é sim.
fonte