Compreendendo o conjugado Beta anterior na inferência bayesiana sobre uma frequência

A seguir, um trecho da Introdução às Estatísticas Bayesianas de Bolstad .

Para todos os especialistas por aí, isso pode ser trivial, mas não entendo como o autor conclui que não precisamos fazer nenhuma integração para calcular a probabilidade posterior de algum valor de . Entendo a segunda expressão, que é a proporcionalidade e de onde todos os termos vieram ( probabilidade x Prior) . Além disso, entendo, não precisamos nos preocupar com o denominador, pois apenas o numerador é diretamente proporcional. Mas passando para a terceira equação , não estamos esquecendo o denominador da regra de Bayes? Para onde foi? E o valor calculado pelas funções Gamma, não é uma constante? As constantes não são canceladas no teorema de Bayes? $\pi$

distributions bayesian beta-distribution conjugate-prior Jenna Maiz
fonte

Existe apenas uma constante possível, a saber, aquela que torna a função uma densidade de probabilidade.

Xian

Respostas:

O ponto é que sabemos a que o posterior é proporcional e acontece que não precisamos fazer a integração para obter o denominador (constante), porque reconhecemos que uma distribuição com densidade de probabilidade funciona proporcional a (como a posterior) é uma distribuição beta. Como a constante de normalização para esse pdf beta é , obtemos o pdf posterior sem integração. E sim, a constante de normalização no teorema de Bayes é uma constante (dados os dados observados e o anterior assumido), assim como a constante de normalização para a densidade posterior. $x^{\alpha-1} \times (1-x)^{\beta-1}$ $\frac{\Gamma(\alpha+\beta)}{\Gamma(\alpha)\Gamma(\beta)}$

Björn
fonte

A configuração

Você tem este modelo: As densidades para as quais são e, em particular, observe que

\begin{aligned} p & \sim beta (α, β) \\ x | p & \sim binomial (n, p) \end{aligned}

$\begin{align*} p & \, \sim \, \text{beta}(\alpha, \beta) \\ x \, | \, p & \, \sim \, \text{binomial}(n, p) \end{align*}$

f (p) = \frac{1}{B (α, β)} p^{α - 1} (1 - p)^{β - 1}

$\begin{equation*} f(p) = \frac{1}{B(\alpha, \beta)} p^{\alpha - 1} (1 - p)^{\beta - 1} \end{equation*}$

g (x | p) = (\binom{n}{x}) p^{x} (1 - p)^{n - x}

$\begin{equation*} g(x \, | \, p) = {n \choose x} p^x (1 - p)^{n - x} \end{equation*}$

\frac{1}{B (α, β)} = \frac{Γ (α + β)}{Γ (α) Γ (β)} .

$\begin{equation*} \frac{1}{B(\alpha, \beta)} = \frac{\Gamma(\alpha + \beta)}{\Gamma(\alpha)\Gamma(\beta)}. \end{equation*}$

A versão implícita

Agora. A distribuição posterior é proporcional ao anterior multiplicada pela probabilidade . Podemos ignorar constantes (ou seja, coisas que não são ), produzindo: $f$ $g$ $p$

\begin{aligned} h (p | x) & \propto f (p) g (p | x) \\ = p^{α - 1} (1 - p)^{β - 1} p^{x} p^{n - x} \\ = p^{α + x - 1} (1 - p)^{β + n - x - 1} . \end{aligned}

$\begin{align*} h(p \, | \, x) & \propto f(p) g(p \, | \, x) \\ & = p^{\alpha - 1} (1 - p)^{\beta - 1} p^x p^{n - x} \\ & = p^{\alpha + x - 1} (1 - p)^{\beta + n - x - 1}. \end{align*}$

Isso tem o 'formato' de uma distribuição beta com os parâmetros e , e sabemos qual deve ser a constante de normalização correspondente para uma distribuição beta com esses parâmetros: . Ou, em termos de funções gama, Em outras palavras, podemos fazer um pouco melhor do que uma relação proporcional sem trabalho extra e ir direto para a igualdade: $\alpha + x$ $\beta + n - x$ $1 / B(\alpha + x, \beta + n - x)$

\frac{1}{B (α + x, β + n - x)} = \frac{Γ (n + α + β)}{Γ (α + x) Γ (β + n - x)} .

$\begin{equation*} \frac{1}{B(\alpha + x, \beta + n - x)} = \frac{\Gamma(n + \alpha + \beta)}{\Gamma(\alpha + x)\Gamma(\beta + n - x)}. \end{equation*}$

h (p | x) = \frac{Γ (n + α + β)}{Γ (α + x) Γ (β + n - x)} p^{α + x - 1} (1 - p)^{β + n - x - 1} .

$\begin{equation*} h(p \, | \, x) = \frac{\Gamma(n + \alpha + \beta)}{\Gamma(\alpha + x)\Gamma(\beta + n - x)} p^{\alpha + x - 1} (1 - p)^{\beta + n - x - 1}. \end{equation*}$

Portanto, pode-se usar o conhecimento da estrutura de uma distribuição beta para recuperar facilmente uma expressão para o posterior, em vez de passar por uma integração bagunçada e coisas do gênero.

Ele chega até a parte posterior completa cancelando implicitamente as constantes de normalização da distribuição da articulação, o que pode ser confuso.

A versão explícita

Você também pode triturar as coisas proceduralmente, o que pode ser mais claro.

Na verdade, não é tanto tempo assim. Observe que podemos expressar a distribuição conjunta como e a distribuição marginal de como

\begin{aligned} f (p) g (x | p) = \frac{1}{B (α, β)} (\binom{n}{x}) p^{α + x - 1} (1 - p)^{β + n - x - 1} \end{aligned}

$\begin{align*} f(p)g(x \, | \, p) = \frac{1}{B(\alpha, \beta)}{n \choose x} p^{\alpha + x - 1} (1 - p)^{\beta + n - x - 1} \end{align*}$

x

$x$

\begin{aligned} \int_{0}^{1} f (p) g (x | p) d p & = \frac{1}{B (α, β)} (\binom{n}{x}) \int_{0}^{1} p^{α + x - 1} (1 - p)^{β + n - x - 1} d p \\ = \frac{1}{B (α, β)} (\binom{n}{x}) \frac{Γ (α + x) Γ (β + n - x)}{Γ (α + β + n - x)} \end{aligned}

$\begin{align*} \int_{0}^{1}f(p)g(x \, | \, p)dp & = \frac{1}{B(\alpha, \beta)}{n \choose x} \int_{0}^{1} p^{\alpha + x - 1} (1 - p)^{\beta + n - x - 1} dp \\ & = \frac{1}{B(\alpha, \beta)}{n \choose x} \frac{\Gamma(\alpha + x)\Gamma(\beta + n - x)}{\Gamma(\alpha + \beta + n - x)} \end{align*}$

Portanto, podemos expressar o posterior usando o teorema de Bayes por que é a mesma coisa que obtivemos anteriormente.

\begin{aligned} h (p | x) & = \frac{f (p) g (x | p)}{\int_{0}^{1} f (p) g (x | p) d p} \\ = \frac{\frac{1}{B (α, β)} (\binom{n}{x}) p^{α + x - 1} (1 - p)^{β + n - x - 1}}{\frac{1}{B (α, β)} (\binom{n}{x}) \frac{Γ (α + x) Γ (β + n - x)}{Γ (α + β + n)}} \\ = \frac{Γ (n + α + β)}{Γ (α + x) Γ (β + n - x)} p^{α + x - 1} (1 - p)^{β + n - x - 1} \end{aligned}

$\begin{align*} h(p \, | \, x) & = \frac{f(p) g(x \, | \, p)}{\int_{0}^{1}f(p) g(x \, | \, p)dp} \\ & = \frac{\frac{1}{B(\alpha, \beta)}{n \choose x} p^{\alpha + x - 1} (1 - p)^{\beta + n - x - 1}}{\frac{1}{B(\alpha, \beta)}{n \choose x} \frac{\Gamma(\alpha + x)\Gamma(\beta + n - x)}{\Gamma(\alpha + \beta + n)}} \\ & = \frac{\Gamma(n + \alpha + \beta)}{\Gamma(\alpha + x)\Gamma(\beta + n - x)} p^{\alpha + x - 1} (1 - p)^{\beta + n - x - 1} \end{align*}$

jtobin
fonte

Observações Gerais

Para tornar a resposta dada por @ Björn um pouco mais explícita e ao mesmo tempo mais geral, devemos lembrar que chegamos ao Teorema de Bayes de

$p(\theta|X) \times p(X) = p(X,\theta)=p(X|\theta)\times p(\theta)$

$\implies p(\theta|X) = \frac{p(X|\theta)\times p(\theta)}{p(X)}$ (Bayes)

onde representa os dados observados e nosso parâmetro desconhecido sobre o qual gostaríamos de fazer inferências probabilísticas - no caso da pergunta, o parâmetro é uma frequência desconhecida . Por enquanto, não vamos nos preocupar se estamos falando de vetores ou escalares para simplificar. $X$ $\theta$ $\pi$

A marginalização no caso contínuo leva a

$p(X) = \int_{-\infty}^{+\infty}{p(X,\theta)d\theta}=\int_{-\infty}^{+\infty}{p(X|\theta)\times p(\theta)d\theta}$

onde a distribuição conjunta é igual a como vimos acima. É uma constante, pois após 'integrar' o parâmetro, ele depende apenas de termos constantes . $p(X,\theta)$ $likelihood \times prior$

Portanto, podemos reformular o Teorema de Bayes como

$p(\theta|X) = Const. \times p(X|\theta)\times p(\theta)$ com $Const. = \frac{1}{p(X)} = \frac{1}{\int{p(X|\theta)\times p(\theta)d\theta}}$

e assim chegar à forma usual de proporcionalidade do teorema de Bayes .

Aplicação ao problema uma mão

Agora, estamos prontos para simplesmente conectar o que sabemos, já que a no caso da pergunta é da forma $likelihood \times prior$

$p(X,\theta)= p(X|\theta)\times p(\theta) = A \cdot \theta^{\,a + y - 1}(1-\theta)^{b + n - y - 1} = A\cdot \theta^{\,a' - 1}(1-\theta)^{b' - 1}$

onde , e onde coleta os termos constantes da probabilidade binomial e do beta anterior. $a' = a+y$ $b' = b+n-y$ $A = \frac{1}{B(a,b)}\binom{n}{y}$

Agora podemos usar a resposta dada por @ Björn para descobrir que isso se integra à função Beta vezes a coleção de termos constantes para que $B(a',b')$ $A$

$p(X) = A\cdot\int_0^1{\theta^{\,a' - 1}(1-\theta)^{b' - 1}d\theta}=A\cdot B(a',b')$

$\implies p(\theta|X) = \frac{A\cdot\theta^{\,a' - 1}(1-\theta)^{b' - 1}}{A\cdot B(a',b')}=\frac{\theta^{\,a' - 1}(1-\theta)^{b' - 1}}{B(a',b')}$

Observe que qualquer termo constante na distribuição conjunta será sempre cancelado, uma vez que aparecerá no nominador e no denominador ao mesmo tempo (cf. resposta dada por @jtobin), para que realmente não tenhamos que nos preocupar.

Assim, reconhecemos que nossa distribuição posterior é de fato uma distribuição beta onde podemos simplesmente atualizar os parâmetros do anteriores e para chegar ao posterior. É por isso que o beta distribuído anteriormente é chamado de conjugado anterior . $a' = a+y$ $b' = b+n-y$

gwr
fonte

Esse raciocínio é semelhante à versão implícita do jtobin. Examinamos apenas partes dos tempos de probabilidade anteriores que contêm o parâmetro e coletamos tudo o mais na constante de normalização. Assim, consideramos a integração apenas como uma etapa final legítima, porque as constantes se cancelam como jtobin mostrou em sua versão explícita.

gwr