Estou tentando implementar o modelo de Mistura Gaussiana com inferência variacional estocástica, seguindo este artigo .
Este é o pgm da mistura gaussiana.
De acordo com o artigo, o algoritmo completo de inferência variacional estocástica é:
E ainda estou muito confuso sobre o método para escalá-lo para GMM.
Primeiro, pensei que o parâmetro variacional local é apenas e outros são parâmetros globais. Por favor, corrija-me se eu estiver errado. O que significa o passo 6 ? O que devo fazer para conseguir isso?as though Xi is replicated by N times
Você poderia por favor me ajudar com isso? Desde já, obrigado!
Respostas:
Este tutorial ( https://chrisdxie.files.wordpress.com/2016/06/in-depth-variational-inference-tutorial.pdf ) responde à maioria de suas perguntas e provavelmente seria mais fácil de entender do que o artigo original da SVI, como Ele analisa especificamente todos os detalhes da implementação de SVI (e coordena a amostragem de subida VI e gibbs) para um modelo de mistura gaussiana (com variação conhecida).
fonte
Primeiro, algumas notas que me ajudam a entender o artigo sobre SVI:
Com isso, podemos concluir a etapa (5) do pseudocódigo SVI com:
A atualização dos parâmetros globais é mais fácil, pois cada parâmetro corresponde a uma contagem dos dados ou a uma de suas estatísticas suficientes:
fonte