Alguém pode explicar os anteriores conjugados nos termos mais simples possíveis?

Eu tenho tentado entender a idéia de anteriores conjugados nas estatísticas bayesianas por um tempo, mas simplesmente não entendo. Alguém pode explicar a idéia nos termos mais simples possíveis, talvez usando o "prior gaussiano" como exemplo?

A prévia de um parâmetro quase sempre terá alguma forma funcional específica (escrita em termos de densidade, geralmente). Digamos que nos restringimos a uma família específica de distribuições; nesse caso, escolher o nosso anterior se reduz a escolher os parâmetros dessa família.

Por exemplo, considere um modelo normal $Y_i \stackrel{_\text{iid}}{\sim} N(\mu,\sigma^2)$ . Para simplificar, vamos também $\sigma^2$ como conhecido. Esta parte do modelo - o modelo para os dados - determina a função de probabilidade.

Para completar nosso modelo bayesiano, aqui precisamos de um prior para $\mu$ .

Como mencionado acima, geralmente podemos especificar alguma família distributiva para o nosso anterior para $\mu$ e, em seguida, temos apenas que escolher os parâmetros dessa distribuição (por exemplo, muitas vezes as informações anteriores podem ser bastante vagas - como aproximadamente onde queremos que a probabilidade se concentre - em vez de uma forma funcional muito específica, e podemos ter liberdade suficiente para modelar o que queremos, escolhendo os parâmetros - digamos, para corresponder a uma média e variação anteriores).

Se acontecer que o posterior para $\mu$ é da mesma família que o anterior, então esse anterior é considerado "conjugado".

(O que faz com que seja conjugado é a maneira como combina com a probabilidade)

Portanto, neste caso, vamos usar um gaussiano anterior para (digamos μ ∼ N ( θ , τ 2 ) ). Se fizermos isso, vemos que o posterior para µ também é gaussiano. Consequentemente, o prior gaussiano foi um conjugado anterior para o nosso modelo acima.$\mu$$\mu\sim N(\theta,\tau^2)$$\mu$

Isso é tudo o que realmente existe - se o posterior for da mesma família do anterior, é um conjugado anterior.

Em casos simples, você pode identificar um conjugado antes pela inspeção da probabilidade. Por exemplo, considere uma probabilidade binomial; eliminando as constantes, parece uma densidade beta em ; e por causa da forma como os poderes de p e ( 1 - p ) combinam, ele vai multiplicar por um beta antes de dar também um produto de potências de p e ( 1 - p ) ... para que possamos ver imediatamente a partir da probabilidade de que o beta será um conjugado anterior para p na probabilidade binomial.$p$$p$$(1-p)$$p$$(1-p)$$p$

No caso gaussiano, é mais fácil ver que isso acontecerá considerando as densidades de log e a probabilidade de log; a probabilidade logarítmica será quadrática em e a soma de dois quadráticos é quadrática; portanto, uma probabilidade quadrática log-prior + log quadrática fornece um posterior quadrático (é claro que cada um dos coeficientes do termo de ordem mais alta será negativo).$\mu$

Se o seu modelo pertencer a uma família exponencial , isto é, se a densidade da distribuição for da forma

$$f(x|\theta)=h(x)\exp\{T(\theta)\cdot S(x)-\psi(\theta)\}\qquad x\in\mathcal{X}\quad\theta\in\Theta$$ com respeito a umadada medida dominando(Lebesgue, de contagem, e tc.), onde$t\cdot s$ designa um escalar do produto ao longo$\mathbb{R}^d$ e $$T:\mathcal{X}\longrightarrow \mathbb{R}^d\qquad S:\Theta\longrightarrow \mathbb{R}^d$$ são funções mensuráveis, os antecedentes conjugadas sobre$\theta$ são definidos por densidades da forma $$\pi(\theta|\xi,\lambda)=C(\xi,\lambda)\exp\{T(\theta)\cdot \xi-\lambda\psi(\theta)\}$$ [com relação a umamedida dominante escolhida arbitrariamente $\text{d}\nu$ em$\Theta$ ] com $$C(\xi,\lambda)^{-1}=\int_\Theta \exp\{T(\theta)\cdot \xi-\lambda\psi(\theta)\} \text{d}\nu<\infty$$ e$\lambda\in\Lambda\subset\mathbb{R}_+$ ,$\xi\in\Xi\subset \lambda T(\mathcal{X})$

A escolha da medida dominante é determinante para a família de priores. Se, por exemplo, houver uma probabilidade média normal em $\mu$ como na resposta de Glen_b , escolher a medida de Lebesgue $\text{d}\mu$ como a medida dominante leva à conjugação dos anteriores normais. Se, em vez disso, se escolher $(1+\mu^2)^{-2}\text{d}\mu$ como medida dominante, os anteriores conjugados estarão dentro da família de distribuições com densidades

$$\exp\{-\alpha(\mu-\mu_0)^2\} \qquad\alpha>0,\ \ \mu_0\in\mathbb R$$ com relação a essa medida dominante e, portanto, não são mais anteriores normais. Essa dificuldade é essencialmente a mesma que a de escolher uma parametrização específica da probabilidade e optar pela medida de Lebesgue para essa parametrização. Quando confrontados com uma função de probabilidade, não há medida dominante inerente (ou intrínseca ou de referência) no espaço de parâmetros.

Fora dessa configuração de família exponencial, não há uma família de distribuições não trivial com um suporte fixo que permita anteriores conjugados. Isso é conseqüência do lema de Darmois-Pitman-Koopman .

Eu gosto de usar a noção de um "kernel" de uma distribuição. É aqui que você sai apenas nas partes que dependem do parâmetro. Alguns exemplos simples.

Núcleo normal

$$p(\mu|a,b) = K^{-1} \times \exp(a\mu^2 +b\mu)$$ Onde $K$ é a "constante de normalização" $K=\int \exp(a\mu^2 +b\mu)d\mu=\sqrt{\frac{\pi}{-a}}\exp(-\frac{b^2}{4a})$ A conexão com os parâmetros padrão de média / variância é$E(\mu|a,b)=-\frac{b}{2a}$ e$Var(\mu|a,b)=-\frac{1}{2a}$

Kernel beta

$$p(\theta|a,b)=K^{-1}\times \theta^a (1-\theta)^b$$ Onde $K=\int \theta^a (1-\theta)^b d\theta = Beta(a+1,b+1)$

Quando olhamos para a função de probabilidade, podemos fazer a mesma coisa e expressá-la em "forma de kernel". Por exemplo, com dados iid

$$p(D|\mu)=\prod_{i=1}^n p(x_i|\mu)=Q\times f(\mu)$$

Para algumas constantes $Q$ e algumas funções $f(\mu)$ . Se pudermos reconhecer essa função como um kernel, podemos criar um conjugado anterior para essa probabilidade. Se tomarmos a probabilidade normal com variação de unidade, o acima será parecido com

$$p(D|\mu) =\prod_{i=1}^n p(x_i|\mu) =\prod_{i=1}^n \frac{1}{\sqrt{2\pi}}\exp(-\frac{(x_i-\mu)^2}{2}) =\left[\prod_{i=1}^n \frac{1}{\sqrt{2\pi}}\right]\times \prod_{i=1}^n \exp(-\frac{(x_i-\mu)^2}{2}) =(2\pi)^{-\frac{n}{2}}\times\exp(-\sum_{i=1}^n\frac{(x_i-\mu)^2}{2}) =(2\pi)^{-\frac{n}{2}}\times\exp(-\sum_{i=1}^n\frac{x_i^2-2x_i\mu+\mu^2}{2}) =(2\pi)^{-\frac{n}{2}}\times\exp(-\sum_{i=1}^n\frac{x_i^2}{2})\times\exp(\mu\sum_{i=1}^n x_i-\mu^2\frac{n}{2}) =Q\times \exp(a\mu^2 +b\mu)$$

where $a=-\frac{n}{2}$ and $b=\sum_{i=1}^n x_i$ and $Q=(2\pi)^{-\frac{n}{2}}\times\exp(-\sum_{i=1}^n\frac{x_i^2}{2})$

This likelihood function has the same kernel as the normal distribution for $\mu$, so a conjugate prior for this likelihood is also the normal distribution.

$$p(\mu|a_0,b_0)=K_0^{-1}\exp(a_0\mu^2 +b_0\mu)$$ The posterior is then $$p(\mu|D,a_0,b_0)\propto K_0^{-1}\exp(a_0\mu^2 +b_0\mu)\times Q\times \exp(a\mu^2 +b\mu)=K_0^{-1}\times Q\times \exp([a+a_0]\mu^2 +[b+b_0]\mu)\propto\exp([a+a_0]\mu^2 +[b+b_0]\mu)$$ Showing that the posterior is also a normal distribution, with updated parameters from the prior using the information in the data.

In some sense a conjugate prior acts similarly to adding "pseudo data" to the data observed, and then estimating the parameters.

Para uma determinada família de distribuição $D_{lik}$da probabilidade (por exemplo, Bernoulli),

se o prior for da mesma família de distribuição$D_{pri}$como o posterior (por exemplo, Beta),

então $D_{pri}$ e $D_{lik}$ are conjugate distribution families and the prior is called a conjugate prior for the likelihood function.

Note: $\underbrace{p(\theta|x)}_{\text{posterior}} \sim \underbrace{p(x|\theta)}_{\text{likelihood}} \cdot \underbrace{p(\theta)}_{\text{prior}}$