O que significa amostrar um vetor de probabilidade de uma distribuição de Dirichlet?

8

Estou essencialmente aprendendo sobre a Alocação Latente de Dirichlet. Estou assistindo a um vídeo aqui: http://videolectures.net/mlss09uk_blei_tm/ e preso no minuto 45, quando ele começou a explicar as amostras da distribuição.

Também tentei consultar um livro de aprendizado de máquina que não possui uma introdução detalhada sobre a distribuição de Dirichelt. No livro que estou lendo, mencionou um exemplo de amostragem de "vetores de probabilidade" da distribuição Dirichlet, mas o que isso significa?

Entendo a amostragem de uma distribuição como obter valores aleatórios para as variáveis ​​aleatórias de acordo com a distribuição. Então vamos p_X, Y (x, y), mas o pmf de qualquer distribuição, amostragem a partir desta distribuição, significa que eu recebo um aleatório (x, y) (ou seja, valores aleatórios para x e y). Para obter a probabilidade de obter o evento (X = x AND Y = y), avaliamos o pmf da distribuição ... então obtemos apenas um número. Mas o que são "vetores de probabilidade" aqui !!

Anexei uma captura de tela do livro. Eu realmente espero que você possa ajudar!

insira a descrição da imagem aqui

Jack Twain
fonte
2
Eu acho que o vetor de probabilidade é exatamente o que você mostra com a distribuição Dirichlet. Exemplo: (0,5, 0,4, 0,1) é um vetor e é usado para representar as proporções / probabilidades de uma distribuição de uma variável com 3 classes.
Raspadinha
@ Raspe quando você disse 3 classes, isso significa uma variável aleatória definida apenas em 3 valores discretos, certo?
Jack Twain
1
Então, basicamente, cada amostra de um dirichlet representa uma distribuição em K classes.
Jack Twain #
2
Sim, a distribuição Dirichlet foi criada para este tipo de problemas: simulando uma distribuição por classes.
Raspadinha
@Scratch você pode ver por favor minha pergunta aqui stats.stackexchange.com/questions/81136/...
Jack Twain

Respostas:

8

Uma distribuição de Dirichlet é frequentemente usada para categorizar probabilisticamente eventos entre várias categorias. Suponha que os eventos climáticos obtenham uma distribuição Dirichlet. Podemos então pensar que o tempo de amanhã tem probabilidade de sol ensolarado igual a 0,25, probabilidade de chuva igual a 0,5 e probabilidade de neve igual a 0,25. A coleta desses valores em um vetor cria um vetor de probabilidades.

Outra maneira de pensar sobre uma distribuição de Dirichlet é o processo de quebrar um pedaço de pau. Imagine um pedaço de comprimento da unidade. Quebre a vara em qualquer lugar e guarde uma das duas peças. Em seguida, quebre a peça restante em duas e continue assim pelo tempo que desejar. Todas as peças juntas devem somar o comprimento da unidade, e alocar peças de diferentes comprimentos para diferentes eventos representa a probabilidade desse evento.

θθθθθB(α,β)α>ββ>α

P(θ<0,25)=0,5P(θ0,25)=0,5

Estender a distribuição beta em três ou mais categorias nos dá a distribuição Dirichlet; de fato, o PDF do Dirichlet para dois grupos é exatamente o mesmo que a distribuição beta.

Sycorax diz restabelecer Monica
fonte