Alguém pode explicar os anteriores conjugados nos termos mais simples possíveis?

23

Eu tenho tentado entender a idéia de anteriores conjugados nas estatísticas bayesianas por um tempo, mas simplesmente não entendo. Alguém pode explicar a idéia nos termos mais simples possíveis, talvez usando o "prior gaussiano" como exemplo?

Jenna Maiz
fonte

Respostas:

23

A prévia de um parâmetro quase sempre terá alguma forma funcional específica (escrita em termos de densidade, geralmente). Digamos que nos restringimos a uma família específica de distribuições; nesse caso, escolher o nosso anterior se reduz a escolher os parâmetros dessa família.

Por exemplo, considere um modelo normal YiiidN(μ,σ2) . Para simplificar, vamos também σ2 como conhecido. Esta parte do modelo - o modelo para os dados - determina a função de probabilidade.

Para completar nosso modelo bayesiano, aqui precisamos de um prior para μ .

Como mencionado acima, geralmente podemos especificar alguma família distributiva para o nosso anterior para μ e, em seguida, temos apenas que escolher os parâmetros dessa distribuição (por exemplo, muitas vezes as informações anteriores podem ser bastante vagas - como aproximadamente onde queremos que a probabilidade se concentre - em vez de uma forma funcional muito específica, e podemos ter liberdade suficiente para modelar o que queremos, escolhendo os parâmetros - digamos, para corresponder a uma média e variação anteriores).

Se acontecer que o posterior para μ é da mesma família que o anterior, então esse anterior é considerado "conjugado".

(O que faz com que seja conjugado é a maneira como combina com a probabilidade)

Portanto, neste caso, vamos usar um gaussiano anterior para (digamos μ N ( θ , τ 2 ) ). Se fizermos isso, vemos que o posterior para µ também é gaussiano. Consequentemente, o prior gaussiano foi um conjugado anterior para o nosso modelo acima.μμN(θ,τ2)μ

Isso é tudo o que realmente existe - se o posterior for da mesma família do anterior, é um conjugado anterior.

Em casos simples, você pode identificar um conjugado antes pela inspeção da probabilidade. Por exemplo, considere uma probabilidade binomial; eliminando as constantes, parece uma densidade beta em ; e por causa da forma como os poderes de p e ( 1 - p ) combinam, ele vai multiplicar por um beta antes de dar também um produto de potências de p e ( 1 - p ) ... para que possamos ver imediatamente a partir da probabilidade de que o beta será um conjugado anterior para p na probabilidade binomial.pp(1p)p(1p)p

No caso gaussiano, é mais fácil ver que isso acontecerá considerando as densidades de log e a probabilidade de log; a probabilidade logarítmica será quadrática em e a soma de dois quadráticos é quadrática; portanto, uma probabilidade quadrática log-prior + log quadrática fornece um posterior quadrático (é claro que cada um dos coeficientes do termo de ordem mais alta será negativo).μ

Glen_b -Reinstate Monica
fonte
9

Se o seu modelo pertencer a uma família exponencial , isto é, se a densidade da distribuição for da forma

f(x|θ)=h(x)exp{T(θ)S(x)ψ(θ)}xXθΘ
com respeito a umadada medida dominando(Lebesgue, de contagem, e tc.), ondets designa um escalar do produto ao longoRd e
T:XRdS:ΘRd
são funções mensuráveis, os antecedentes conjugadas sobreθ são definidos por densidades da forma
π(θ|ξ,λ)=C(ξ,λ)exp{T(θ)ξλψ(θ)}
[com relação a umamedida dominante escolhida arbitrariamente dν emΘ ] com
C(ξ,λ)1=Θexp{T(θ)ξλψ(θ)}dν<
eλΛR+ ,ξΞλT(X)

A escolha da medida dominante é determinante para a família de priores. Se, por exemplo, houver uma probabilidade média normal em μ como na resposta de Glen_b , escolher a medida de Lebesgue dμ como a medida dominante leva à conjugação dos anteriores normais. Se, em vez disso, se escolher (1+μ2)2dμ como medida dominante, os anteriores conjugados estarão dentro da família de distribuições com densidades

exp{α(μμ0)2}α>0,  μ0R
com relação a essa medida dominante e, portanto, não são mais anteriores normais. Essa dificuldade é essencialmente a mesma que a de escolher uma parametrização específica da probabilidade e optar pela medida de Lebesgue para essa parametrização. Quando confrontados com uma função de probabilidade, não há medida dominante inerente (ou intrínseca ou de referência) no espaço de parâmetros.

Fora dessa configuração de família exponencial, não há uma família de distribuições não trivial com um suporte fixo que permita anteriores conjugados. Isso é conseqüência do lema de Darmois-Pitman-Koopman .

Xi'an
fonte
11
"nos termos mais simples possíveis?" Talvez uma explicação que não assuma o conhecimento prévio das medidas seria mais útil para o PO.
3
infelizmente, receio que os conjugados anteriores não tenham sentido sem um plano de fundo de medida (mesmo que este seja o segredo mais bem guardado do Universo).
Xian
6
Na minha opinião, "termos mais simples possíveis" estão abertos à interpretação, e uma explicação que faz uso de matemática avançada, como a teoria das medidas, ainda pode ser "simples" em algum sentido, talvez até "mais simples" do que uma explicação que evite esse tipo de maquinário. De qualquer forma, essa explicação pode ser muito esclarecedora para alguém que possua os conhecimentos necessários para entendê-la e é inofensivo incluir uma resposta como essa em uma lista de várias maneiras de explicar um tópico. Nós escrevemos respostas não apenas para OP, mas para todos os futuros leitores.
littleO
1
@LBogaardt Suas críticas teriam mais peso se você pudesse criar um link para uma ou mais perguntas em que você acha que essa resposta seria tanto no tópico quanto em um nível mais adequado. Lembre-se de que "simples" não é um termo bem definido e tem diferentes interpretações subjetivas. Independentemente disso, seria inválido confundi-lo com "matematicamente não sofisticado", conforme sugerido por seus comentários.
whuber
2
A resposta de Xi'an não é inútil para mim. Eu aprendi alguma coisa
littleO
2

Eu gosto de usar a noção de um "kernel" de uma distribuição. É aqui que você sai apenas nas partes que dependem do parâmetro. Alguns exemplos simples.

Núcleo normal

p(μ|a,b)=K1×exp(aμ2+bμ)
Onde K é a "constante de normalização" K=exp(aμ2+bμ)dμ=πaexp(b24a) A conexão com os parâmetros padrão de média / variância éE(μ|a,b)=b2a eVar(μ|a,b)=12a

Kernel beta

p(θ|a,b)=K1×θa(1θ)b
Onde K=θa(1θ)bdθ=Beta(a+1,b+1)

Quando olhamos para a função de probabilidade, podemos fazer a mesma coisa e expressá-la em "forma de kernel". Por exemplo, com dados iid

p(D|μ)=i=1np(xi|μ)=Q×f(μ)

Para algumas constantes Q e algumas funções f(μ) . Se pudermos reconhecer essa função como um kernel, podemos criar um conjugado anterior para essa probabilidade. Se tomarmos a probabilidade normal com variação de unidade, o acima será parecido com

p(D|μ)=i=1np(xi|μ)=i=1n12πexp((xiμ)22)=[i=1n12π]×i=1nexp((xiμ)22)=(2π)n2×exp(i=1n(xiμ)22)=(2π)n2×exp(i=1nxi22xiμ+μ22)=(2π)n2×exp(i=1nxi22)×exp(μi=1nxiμ2n2)=Q×exp(aμ2+bμ)

where a=n2 and b=i=1nxi and Q=(2π)n2×exp(i=1nxi22)

This likelihood function has the same kernel as the normal distribution for μ, so a conjugate prior for this likelihood is also the normal distribution.

p(μ|a0,b0)=K01exp(a0μ2+b0μ)
The posterior is then
p(μ|D,a0,b0)K01exp(a0μ2+b0μ)×Q×exp(aμ2+bμ)=K01×Q×exp([a+a0]μ2+[b+b0]μ)exp([a+a0]μ2+[b+b0]μ)
Showing that the posterior is also a normal distribution, with updated parameters from the prior using the information in the data.

In some sense a conjugate prior acts similarly to adding "pseudo data" to the data observed, and then estimating the parameters.

probabilityislogic
fonte
1
(+1) I appreciate the pseudo-data intuition!
Xi'an
1

Para uma determinada família de distribuição DeuEukda probabilidade (por exemplo, Bernoulli),

se o prior for da mesma família de distribuiçãoDprEucomo o posterior (por exemplo, Beta),

então DprEu e DeuEuk are conjugate distribution families and the prior is called a conjugate prior for the likelihood function.

Note: p(θ|x)posteriorp(x|θ)likelihoodp(θ)prior

Thomas G.
fonte
How does this explain what a conjugate prior is?
LBogaardt
ok I'll edit that.
Thomas G.