Existe um conjugado antes da distribuição de Laplace?

13

Existe um conjugado antes da distribuição de Laplace ? Caso contrário, existe uma expressão de forma fechada conhecida que se aproxima do posterior para os parâmetros da distribuição de Laplace?

Eu pesquisei bastante por aí, sem sucesso, então meu palpite atual é "não" nas perguntas acima ...

Rasmus Bååth
fonte
1
Google "misturas médias de variância normal de Polson e Scott" - isso fornecerá alguns bayes aproximados usando o MAP via algoritmo em.
probabilityislogic

Respostas:

12

Vamos examiná-los um de cada vez primeiro (considerando o outro como determinado).

No link (com a modificação de seguir a convenção de usar símbolos gregos para parâmetros):

f(x|μ,τ)=12τexp(-|x-μ|τ)

- parâmetro de escala :

eu(τ)τ-k-1e-Sτ

para certos valores de e S . Essa é a probabilidade é de forma gama inversa.kS

Portanto, o parâmetro de escala possui um conjugado anterior - por inspeção, o conjugado anterior é gama inversa.

- parâmetro de localização

Esta é, de fato, mais complicado, porque não se simplifica em algo conveniente em µ ; Não acho que exista nenhuma maneira de "coletar os termos" (de certa forma existe, mas não precisamos).Eu|xEu-μ|μ

Um anterior uniforme simplesmente truncará o posterior, o que não é tão ruim de se trabalhar, se isso parece plausível como anterior.

Uma possibilidade interessante que pode ocasionalmente ser útil é que é bastante fácil incluir um Laplace anterior (um com a mesma escala dos dados) usando uma pseudo-observação. Pode-se também aproximar-se de outro (mais rígido) antes através de várias pseudo-observações)

exp(-j|μ-θj|/ϕj)exp(-jWj|μ-θj|)

Também é flexível o suficiente para ser usado para aproximar outros anteriores.

(De um modo mais geral, ainda é possível trabalhar na escala de toras e usar um côncavo de toras linear contínuo e por partes, a anterior e a posterior também seriam dessa forma; isso incluiria Laplace assimétrico como um caso especial)

Exemplo

Apenas para mostrar que é muito fácil lidar com - abaixo é um anterior (cinza pontilhado), probabilidade (tracejado, preto) e posterior (sólido, vermelho) para o parâmetro de localização para um Laplace ponderado (... isso foi com escalas conhecidas )

insira a descrição da imagem aqui

A abordagem ponderada de Laplace funcionaria bem no MCMC, eu acho.

-

Gostaria de saber se o modo posterior resultante é uma mediana ponderada?

- na verdade (para responder minha própria pergunta), parece que a resposta é sim. Isso torna bastante agradável trabalhar.

-

Articulação prévia

f(μ,τ)=f(μ|τ)f(τ)μ|ττττ

Sem dúvida, algo mais geral para o conjunto anterior é bem possível, mas acho que não vou prosseguir com o caso conjunto além disso aqui.

-

Eu nunca tinha visto ou ouvido falar dessa abordagem anterior ponderada, mas era bastante simples de elaborar, por isso provavelmente já foi feito. (As referências são bem-vindas, se alguém souber de alguma.)

Se ninguém souber de nenhuma referência, talvez eu deva escrever alguma coisa, mas isso seria surpreendente.

Glen_b -Reinstate Monica
fonte
Uau, ótima resposta. Eu com certeza não conheço nenhuma referência a algo semelhante. Se você encontrar alguma coisa ou escrever alguma coisa, por favor me avise!
Rasmus Bååth
1
Uma maneira possível de obter o parâmetro location é usar a representação da mistura de variância normal de laplace. Este é um embora antes condicionalmente conjugado ...
probabilityislogic
@probabilityislogic isso é interessante. Nas edições anteriores, coloquei uma linha indicando que o Laplace era uma mistura exponencial de normais em escala, porque me perguntava se poderia haver algo a ser feito com isso, mas conforme editei a resposta, ela não se encaixava mais em nenhum lugar e tomei novamente. Pelo seu comentário útil, parece que pode ser usado dessa maneira; isso provavelmente será útil.
Glen_b -Reinstala Monica