Ao fazer Markov campos aleatórios

21

Em seu livro, Modelos Gráficos, Famílias Exponenciais e Inferência Variacional , M. Jordan e M. Wainwright discutem a conexão entre famílias Exponenciais e Campos Aleatórios de Markov (modelos gráficos não direcionados).

Estou tentando entender melhor o relacionamento entre eles com as seguintes perguntas:

  • Todos os MRFs são membros das famílias exponenciais?
  • Todos os membros das famílias exponenciais podem ser representados como um MRF?
  • Se MRFs famílias exponenciais, quais são alguns bons exemplos de distribuições de um tipo não incluídas no outro ?

Pelo que entendi em seu livro (Capítulo 3), Jordan e Wainwright apresentam o próximo argumento:


  1. Digamos que temos uma variável aleatória escalar X, que segue alguma distribuição , e desenhe iid observações , e queremos identificar .pnX1,Xnp

  2. Calculamos as expectativas empíricas de certas funçõesϕα

    μ^α=1ni=1nϕα(Xi), para todosαI

    onde cada em algum conjunto indexa uma funçãoαIϕα:XR

  3. Então, se forçarmos os dois conjuntos de quantidades a seguir a serem consistentes, ou seja, a corresponder (para identificar ):p

    • As expectativas das estatísticas suficientes da distribuiçãoϕ pEp[(ϕα(X)]=Xϕα(x)p(x)ν(dx)ϕp

    • As expectativas sob a distribuição empírica

temos um problema sub-determinado , no sentido de que existem muitas distribuições que são consistentes com as observações. Portanto, precisamos de um princípio para escolher entre eles (identificar ).ppp

Se usarmos o princípio da entropia máxima para remover essa indeterminação, podemos obter um único :p

E p [ ( & Phi; ct ( X ) ] = u ct ct Ip=argmaxpPH(p) sujeito a para todosEp[(ϕα(X)]=μ^ααI

onde esse assume a forma exp onde representa uma parametrização da distribuição em forma de família exponencial.p θ ( x ) ct Σ ct I θ ct & Phi; ct ( x ) , θ R dppθ(x)αEuθαϕα(x),θRd

Em outras palavras, se nós

  1. Tornar as expectativas das distribuições consistentes com as expectativas da distribuição empírica
  2. Use o princípio da entropia máxima para se livrar da indeterminação

Terminamos com uma distribuição da família exponencial.


No entanto, isso parece mais um argumento para introduzir famílias exponenciais e (até onde eu entendi) não descreve o relacionamento entre MRFs e exp. famílias. Estou faltando alguma coisa?

Amelio Vazquez-Reina
fonte
3
Eu acho que há alguma confusão lá: [MRFs] ( pt.wikipedia.org/wiki/Markov_random_field ) não são definidos de acordo com o princípio da entropia máxima, mas por direito próprio, pelo fato de a densidade fatorar de acordo com os cliques do gráfico. Os MRFs são famílias exponenciais, devido à sua representação log-linear.
Xi'an
Obrigado @ Xi'an. Esta parte " MRFs é definida pelo fato de a densidade fatorar de acordo com as cliques do gráfico " é o que eu sempre pensei que define um MRF. Mas por que essa propriedade faz com que todos os MRFs façam parte das famílias exponenciais? E quais são os exemplos (se houver) de um ou outro tipo (MRFs ou famílias exp.) Que não são membros do outro tipo?
Amelio Vazquez-Reina
1
Não sei ao certo o quanto isso vai acrescentar para você, mas uma coisa que pode ficar mais clara é ler a formulação original das distribuições de Gibbs e MRFs neste artigo de Geman e Geman. Basicamente, a idéia toda é modelar algo com uma distribuição Boltzman (exp ao menos algo) e depois perguntar como o fator é fatorado. Por causa dessa maneira de descrevê-lo, pode ser mais óbvia a conexão deles com famílias exponenciais.
Ely
3
Famílias exponenciais são definidas pelo fato de que a densidade logarítmica é essencialmente um produto escalar de uma função vetorial das observações e de uma função vetorial dos parâmetros. Não há estrutura gráfica envolvida nesta definição. Os MRFs envolvem, além disso, um gráfico que define as panelinhas, os bairros, etc. Portanto, os MRFs são famílias exponenciais com uma estrutura adicional, o gráfico.
Xi'an
1
Eu acho que a confusão em contradizer os comentários / respostas se resume a se você tem permissão para introduzir fatores que não são lineares em relação aos seus parâmetros.
Yaroslav Bulatov

Respostas:

14

Você está inteiramente correto - o argumento que você apresentou relaciona a família exponencial ao princípio da entropia máxima, mas não tem nada a ver com MRFs.

Para responder às suas três perguntas iniciais:

Todos os membros das famílias exponenciais podem ser representados como um MRF?

P(X=x)=Cceu(G)ϕC(XC=xC)
ceu(G)G. A partir dessa definição, você pode ver que um gráfico totalmente conectado, embora não informativo, é consistente com qualquer distribuição.

Todos os MRFs são membros das famílias exponenciais?

umare

As distribuições de mistura são exemplos comuns de distribuições familiares não exponenciais. Considere o modelo linear de espaço de estados gaussiano (como um modelo de Markov oculto, mas com estados ocultos contínuos e distribuições de transição e emissão gaussianas). Se você substituir o núcleo de transição por uma mistura de gaussianos, a distribuição resultante não estará mais na família exponencial (mas ainda manterá a rica estrutura de independência condicional característica dos modelos gráficos práticos).

[1] http://en.wikipedia.org/wiki/Markov_random_field

Desenhou
fonte