Entropia Bayesiana vs Máxima

8

Suponha que a quantidade que queremos deduzir seja uma distribuição de probabilidade. Tudo o que sabemos é que a distribuição vem de um conjunto E determinado, digamos, por alguns de seus momentos e temos um anterior .Q

O princípio da entropia máxima (MEP) diz que que possui menos entropia relativa de (ou seja, ) é o melhor para selecionar. Enquanto a regra bayesiana de seleção tem um processo de seleção do posterior, dado o prior que é apoiado pelo teorema de Bayes.P⋆∈EQP⋆=argminP∈ED(P‖Q)

Minha pergunta é se existe alguma conexão entre esses dois métodos de inferência (ou seja, se os dois métodos se aplicam ao mesmo problema e têm algo em comum)? Ou se na inferência bayesiana o cenário é completamente diferente do cenário mencionado acima? Ou não estou fazendo sentido ?!

bayesian estimation maximum-entropy Ashok
fonte
Q é uma distribuição sobre E?
Simon Byrne
Você quer perguntar, Q é em EQ∈E ? Precisa não ser.
Ashok
1
Você pode achar esta pergunta útil: stats.stackexchange.com/q/4978/495
Simon Byrne
2
Robin, o fato é que não conheço completamente o método de inferência bayesiano. Caso contrário, essa pergunta nem teria surgido para mim. Agora estou tentando encontrar tempo para aprender sobre o bayesiano. Tudo o que eu sabia (grosso modo) era que, usando o teorema de Bayes, se alguma informação anterior e algumas informações adicionais forem fornecidas, é possível atualizar as probabilidades. Eu não sei disso rigorosamente. Considerando que eu sei MaxEnt rigorosamente o que isso significa. Se possível, por favor, explique ou leve-me (ou seja, aponte alguma referência) para aprender rigorosamente a inferência bayesiana. Obrigado.
Ashok
1
O @Ashok na maioria das vezes a conexão que você está procurando surge da descrição de conjuntos convexos com uma medida de probabilidade em seus pontos extremos (Teoria de Choquet).
robin Girard

Respostas:

6

Isso pode chegar um pouco tarde, mas a questão deve ser reformulada: conforme definido por Jaynes , a entropia máxima é uma maneira de construir uma distribuição anterior que (a) satisfaça as restrições impostas por e (b) tenha a entropia máxima, relativa a uma medida de referência no caso contínuo: Assim, a entropia máxima (de Jaynes) é claramente parte da caixa de ferramentas bayesiana. E a máxima entropia prévia não fornece a distribuição anterior mais próxima da verdadeira anterior, conforme sugerido pela pergunta de Ashok .∫ - log [ π ( θ ) ] d μ ( θ )E

∫−log⁡[π(θ)]dμ(θ).

A inferência bayesiana sobre uma distribuição é um problema completamente diferente, tratado pelos não paramétricos bayesianos (ver, por exemplo, este livro recente de Hjort et al.). Exige observações de , o que não parece ser o cenário da pergunta atual ...QQQ

Xi'an
fonte