O que é um 'método de passagem de mensagens'?

Tenho uma vaga noção do que é um método de passagem de mensagens: um algoritmo que constrói uma aproximação a uma distribuição, construindo iterativamente aproximações de cada um dos fatores da distribuição, condicionadas a todas as aproximações de todos os outros fatores.

Acredito que ambos são exemplos de Passagem Variacional de Mensagens e Propagação de Expectativas . O que é um algoritmo de transmissão de mensagens de forma mais explícita / correta? Referências são bem vindas.

Como você solicita referências, posso recomendar o capítulo 16 de David MacKay Information Theory, Inference, and Learning Algorithms. (você não precisa ler os 15 capítulos anteriores para entender a cap. 16) O livro é gratuito para download no site do autor (com permissão do editor).

Para um exemplo interessante, confira a tese de John Winn . Usa um algoritmo de passagem de mensagens para o Aprendizado de Conjunto Variacional genérico - permitindo a construção simples de problemas de inferência, como ICA e PCA.

Talvez o artigo sobre propagação de crenças seja útil.

O artigo fornece uma descrição de dois pontos de como são transmitidas as "mensagens" ao longo das arestas em um gráfico de fatores. Essa "passagem de mensagem" pode ser feita para qualquer gráfico. Para árvores, o algoritmo é exato no sentido em que fornece o cálculo das distribuições marginais e conjuntas desejadas dos nós na árvore. Iterações do algoritmo para gráficos gerais são tentativas de produzir aproximações das distribuições marginais ou conjuntas desejadas.