Um bom exemplo de tutoriais e referências de Gibbs

29

Quero aprender como a Gibbs Sampling funciona e estou procurando um bom papel básico a intermediário. Tenho formação em ciência da computação e conhecimentos básicos de estatística.

Alguém já leu um bom material? onde você aprendeu isso?

obrigado

references gibbs fabrizioM
fonte
2
pesquisar no Google "amostragem de Gibbs" não é uma maneira ruim de obter uma variedade de pontos de vista sobre o assunto. Eu acho que é uma boa maneira de começar, porque você tende a abordá-la com uma "mente cética" - você não pode considerar a palavra googles como garantida, por isso precisa encontrar uma variedade de visualizações. É claro que você pode precisar de uma fonte respeitável posteriormente, quando tentar implementar. Mas começar com a "fonte respeitável" nem sempre é a melhor idéia, porque eles podem estar bastante apegados a uma maneira específica de fazer algo - ou seja, sabem o "caminho certo" e "todos os outros estão errados ou ineficazes".
probabilityislogic
3
(+1) As perguntas que são facilmente respondidas pelo Google geralmente não são bem-vindas, mas esta IMO tenta capitalizar a sabedoria coletiva de uma comunidade de uma maneira que a classificação do Google não pode fazer. Seria interessante ver que fontes as pessoas realmente acharam úteis para aprender este material.
whuber
4
Esse é o problema. O Google retorna muitos resultados e nem todos os documentos ou tutoriais são claros o suficiente.
fabrizioM

Respostas:

19

Eu começaria com:

Casella, George; George, Edward I. (1992). " Explicando o amostrador de Gibbs ". The American Statistician 46 (3): 167-174. ( PDF GRATUITO )

Resumo : Algoritmos intensivos em computador, como o amostrador de Gibbs, tornaram-se ferramentas estatísticas cada vez mais populares, tanto no trabalho aplicado quanto no teórico. As propriedades de tais algoritmos, no entanto, às vezes podem não ser óbvias. Aqui damos uma explicação simples de como e por que o amostrador Gibbs funciona. Analiticamente, estabelecemos suas propriedades em um caso simples e fornecemos informações para casos mais complicados. Há também vários exemplos.

O Estatístico Americano geralmente é uma boa fonte para artigos introdutórios curtos (ish) que não pressupõem nenhum conhecimento prévio do tópico, embora eles assumam que você tenha o histórico de probabilidade e estatística que seria razoavelmente esperado de um membro do American Associação Estatística .

uma parada
fonte
12

Um artigo on-line que realmente me ajudou a entender a Gibbs Sampling é a estimativa de parâmetros para análise de texto por Gregor Heinrich. Não é um tutorial geral de amostragem de Gibbs, mas o discute em termos de alocação de dirichlet latente, um modelo bayesiano bastante popular para modelagem de documentos. Ele entra na matemática com detalhes justos.

Um que entra em detalhes matemáticos ainda mais exaustivos é o Gibbs Sampling for the Uninitiated . E quero dizer exaustivo, pois pressupõe que você conhece algum cálculo multivariado e, em seguida, define cada passo a partir desse ponto. Portanto, enquanto há muita matemática, nada disso é avançado.

Suponho que estes serão mais úteis para você do que algo que deriva de resultados mais avançados, como aqueles que provam por que a amostragem de Gibbs converge para a distribuição correta. As referências que aponto não provam isso.

JasonMond
fonte
2

O livro Estratégias de Monte Carlo em Computação Científica é um excelente recurso. Ele aborda as coisas de uma maneira matematicamente rigorosa, mas você pode pular facilmente seções matemáticas que não lhe interessam e ainda assim obter muitos conselhos práticos. Em particular, ele faz um bom trabalho em juntar amostras de Metropolis-Hastings e Gibbs, o que é crucial. Na maioria das aplicações, você precisará desenhar a partir de uma distribuição posterior usando a amostragem Gibbs, e assim é útil saber como ela se encaixa na lógica do Metropolis em geral.

ely
fonte