KL Perda com uma unidade Gaussiana

Estou implementando um VAE e notei duas implementações diferentes on-line da divergência simplificada univariada de KL gaussiana. A divergência original conforme aqui é Se assumirmos que nosso prior é uma unidade gaussiana, ou seja, e , isso simplifica para E aqui é onde está minha confusão. Embora eu tenha encontrado alguns repositórios obscuros do github com a implementação acima, o que eu acho mais usado é: μ2=0σ2=1KLloss=-log(σ1)+σ 2 1 +μ 2

$$KL_{loss}=\log(\frac{\sigma_2}{\sigma_1})+\frac{\sigma_1^2+(\mu_1-\mu_2)^2}{2\sigma^2_2}-\frac{1}{2}$$ $\mu_2=0$$\sigma_2=1$ $$KL_{loss}=-\log(\sigma_1)+\frac{\sigma_1^2+\mu_1^2}{2}-\frac{1}{2}$$ $$KL_{loss}=-\frac{1}{2}(2\log(\sigma_1)-\sigma_1^2-\mu_1^2+1)$$

$$=-\frac{1}{2}(\log(\sigma_1)-\sigma_1-\mu^2_1+1)$$ Por exemplo, no tutorial oficial do autoencoder do Keras . Minha pergunta é então, o que estou perdendo entre esses dois? A principal diferença é descartar o fator 2 no termo do log e não esquadrar a variação. Analiticamente, usei o último com sucesso, pelo que vale a pena. Agradecemos antecipadamente por qualquer ajuda!

Observe que, substituindo por na última equação, você recupera o anterior (por exemplo, ). Me levando a pensar que no primeiro caso o codificador é usado para prever a variação, enquanto no segundo é usado para prever o desvio padrão.$\sigma_1$$\sigma_1^2$$\log(\sigma_1) - \sigma_1 \rightarrow 2\log(\sigma_1) - \sigma_1^2$

Ambas as formulações são equivalentes e o objetivo é inalterado.

Eu acredito que a resposta é mais simples. No VAE, as pessoas geralmente usam uma distribuição normal multivariada, que possui matriz de covariância vez de variância . Isso parece confuso em um pedaço de código, mas tem a forma desejada.$\Sigma$$\sigma^2$

Aqui você pode encontrar a derivação de uma divergência de KL para distribuições normais multivariadas: Derivando a perda de divergência de KL para VAEs