Autoencoder variacional com modelo de mistura gaussiana

9

Um autoencoder variacional (VAE) fornece uma maneira de aprender a distribuição de probabilidade relacionando uma entrada à sua representação latente . Em particular, o codificador mapeia uma entrada para uma distribuição em . Um codificador típico produzirá parâmetros , representando a distribuição gaussiana ; essa distribuição é usada como nossa aproximação para .p(x,z)xzexz(μ,σ)=e(x)N(μ,σ)p(z|x)

Alguém já considerou um VAE em que a saída é um modelo de mistura gaussiana, em vez de gaussiana? Isso é útil? Existem tarefas em que isso é significativamente mais eficaz do que uma simples distribuição gaussiana? Ou isso oferece pouco benefício?

DW
fonte
1
arxiv.org/abs/1611.02648
shimao 12/06
1
@ shimao, obrigado! Escrevi uma resposta resumindo isso, caso seja útil para mais alguém no futuro. Obrigado novamente.
DW
@ DW desculpe pela resposta tardia. Estou apenas confuso sobre alguma coisa. O VAE não está representando uma mistura infinita de gaussianos?
Floyd

Respostas:

6

Sim, foi feito. O documento a seguir implementa algo dessa forma:

Clustering não supervisionado profundo com autoencodificadores variacionais de mistura gaussiana . Nat Dilokthanakul, Pedro AM Mediano, Marta Garnelo, Matthew CH Lee, Hugh Salimbeni, Kai Arulkumaran, Murray Shanahan.

Eles experimentam o uso dessa abordagem para cluster. Cada gaussiano na mistura gaussiana corresponde a um cluster diferente. Como a mistura gaussiana está no espaço latente ( ) e há uma rede neural conectando a , isso permite agrupamentos não triviais no espaço de entrada ( ).zzxx

Esse documento também menciona a seguinte postagem no blog, que experimenta uma variação diferente dessa arquitetura: http://ruishu.io/2016/12/25/gmvae/

Obrigado a shimao por apontar isso.

DW
fonte