Em seu livro, Modelos Gráficos, Famílias Exponenciais e Inferência Variacional , M. Jordan e M. Wainwright discutem a conexão entre famílias Exponenciais e Campos Aleatórios de Markov (modelos gráficos não direcionados).
Estou tentando entender melhor o relacionamento entre eles com as seguintes perguntas:
- Todos os MRFs são membros das famílias exponenciais?
- Todos os membros das famílias exponenciais podem ser representados como um MRF?
- Se MRFs famílias exponenciais, quais são alguns bons exemplos de distribuições de um tipo não incluídas no outro ?
Pelo que entendi em seu livro (Capítulo 3), Jordan e Wainwright apresentam o próximo argumento:
Digamos que temos uma variável aleatória escalar X, que segue alguma distribuição , e desenhe iid observações , e queremos identificar .
Calculamos as expectativas empíricas de certas funções
para todos
onde cada em algum conjunto indexa uma função
Então, se forçarmos os dois conjuntos de quantidades a seguir a serem consistentes, ou seja, a corresponder (para identificar ):
As expectativas das estatísticas suficientes da distribuiçãoϕ p
As expectativas sob a distribuição empírica
temos um problema sub-determinado , no sentido de que existem muitas distribuições que são consistentes com as observações. Portanto, precisamos de um princípio para escolher entre eles (identificar ).p
Se usarmos o princípio da entropia máxima para remover essa indeterminação, podemos obter um único :
E p [ ( & Phi; ct ( X ) ] = u ct ct ∈ I sujeito a para todos
onde esse assume a forma exp onde representa uma parametrização da distribuição em forma de família exponencial.p θ ( x ) ct Σ ct ∈ I θ ct & Phi; ct ( x ) , θ ∈ R d
Em outras palavras, se nós
- Tornar as expectativas das distribuições consistentes com as expectativas da distribuição empírica
- Use o princípio da entropia máxima para se livrar da indeterminação
Terminamos com uma distribuição da família exponencial.
No entanto, isso parece mais um argumento para introduzir famílias exponenciais e (até onde eu entendi) não descreve o relacionamento entre MRFs e exp. famílias. Estou faltando alguma coisa?
fonte
Respostas:
Você está inteiramente correto - o argumento que você apresentou relaciona a família exponencial ao princípio da entropia máxima, mas não tem nada a ver com MRFs.
Para responder às suas três perguntas iniciais:
As distribuições de mistura são exemplos comuns de distribuições familiares não exponenciais. Considere o modelo linear de espaço de estados gaussiano (como um modelo de Markov oculto, mas com estados ocultos contínuos e distribuições de transição e emissão gaussianas). Se você substituir o núcleo de transição por uma mistura de gaussianos, a distribuição resultante não estará mais na família exponencial (mas ainda manterá a rica estrutura de independência condicional característica dos modelos gráficos práticos).
[1] http://en.wikipedia.org/wiki/Markov_random_field
fonte