Dirichlet posterior

11

Eu tenho uma pergunta sobre a distribuição posterior de Dirichlet. Dada uma função de verossimilhança multinomial sabe-se que o posterior é , onde é o número de vezes que vimos observação.Dir(αi+Ni)Niith

O que acontece se começarmos a diminuir s para um dado dado fixo ? Parece da forma do posterior que, após algum ponto, os s deixarão de afetar o posterior. Mas não seria correto dizer que, quando o tamanho do a massa de probabilidade se move para os cantos do simplex e o posterior deve ser afetado em maior extensão? Qual afirmação é a correta?αDαα

Máx.
fonte

Respostas:

6

Para mim, a maneira mais útil de visualizar o efeito dos parâmetros para Dirichlet é a urna da Polya. Imagine que você tem uma urna contendo n cores diferentes, com de cada cor na urna (observe que você pode ter frações de bola). Você chega e tira uma bola e depois a substitui por outra da mesma cor. Você repete isso uma quantidade infinita de vezes e a proporção final constitui uma amostra da distribuição a Dirichlet. Se você tiver valores muito pequenos para , deve ficar claro que a bola adicionada pesará muito na cor do primeiro empate, o que explica por que a massa se move para os cantos do simplex. Se você tem grandes , esse primeiro sorteio não afeta tanto a proporção final.αiααs

O que seu posterior está basicamente dizendo é que você começou com bolas de cor , fez vários sorteios e passou a desenhar essa cor vezes. Você pode imaginar amostras do posterior sendo geradas com o mesmo processo e imaginar os efeitos que o inicial e as contagens terão nessas amostras. Claramente, um pequeno valor para terá menos efeito no posterior.αiiNiαNα

Outra maneira de pensar é que os parâmetros do seu Dirichlet controlam quanto você confia nos seus dados. Se você tem pequenos valores de , confia quase inteiramente nos seus dados. Por outro lado, se você tiver valores grandes para , confia menos nos seus dados e suaviza um pouco mais a parte posterior.αα

Em resumo, você está correto ao dizer que, à medida que diminui os , eles terão menos efeito no posterior, mas ao mesmo tempo o anterior terá a maior parte de sua massa nos cantos do simplex.αs

jlund3
fonte