Estou tentando entender a seguinte prova de que o gaussiano tem entropia máxima.
Como o passo estrelado faz sentido? Uma covariância específica apenas fixa o segundo momento. O que acontece com o terceiro, quarto, quinto momento, etc?
Estou tentando entender a seguinte prova de que o gaussiano tem entropia máxima.
Como o passo estrelado faz sentido? Uma covariância específica apenas fixa o segundo momento. O que acontece com o terceiro, quarto, quinto momento, etc?
Você precisa saber apenas duas coisas sobre uma distribuição normal multivariada com média zero:
Podemos usar essas informações para elaborar uma integral:
Ele divide a soma de duas partes:
multiplicando termos do formulário (Porque é uma densidade normal, quando você pega o log, obtém exatamente esse tipo de termos do expoente mais constantes). Mas então a condição no teorema garante que esses termos sejam multiplicados por do integrar com o mesmo valor.