Quais são as definições de pré-conjugados semi-conjugados e condicionais condicionais?

Quais são as definições de prioros semi-conjugados e de antecedentes conjugados condicionais ? Encontrei-os na Análise Bayesiana de Dados de Gelman , mas não consegui encontrar suas definições.

Usando a definição na Análise Bayesiana de Dados (3ª ed) , se for uma classe de distribuições de amostragem e é uma classe de distribuições anteriores para , então o classe é conjugado para se p ( y | θ ) P θ P $\mathcal{F}$$p(y|\theta)$$\mathcal{P}$$\theta$$\mathcal{P}$$\mathcal{F}$

$$p(\theta|y)\in \mathcal{P} \mbox{ for all }p(\cdot|\theta)\in \mathcal{F} \mbox{ and }p(\cdot)\in \mathcal{P}.$$

Se for uma classe de distribuições de amostragem e for uma classe de distribuições anteriores para condicional em , então a classe é conjugado condicional para se p ( y | θ , ϕ ) P θ ϕ P $\mathcal{F}$$p(y|\theta,\phi)$$\mathcal{P}$$\theta$$\phi$$\mathcal{P}$$\mathcal{F}$

$$p(\theta|y,\phi)\in \mathcal{P} \mbox{ for all }p(\cdot|\theta,\phi)\in \mathcal{F} \mbox{ and }p(\cdot|\phi)\in \mathcal{P}.$$

Priores condicionalmente conjugados são convenientes na construção de um amostrador de Gibbs, uma vez que o condicional completo será uma família conhecida.

Pesquisei uma versão eletrônica do Bayesian Data Analysis (3ª ed.) E não consegui encontrar uma referência ao semi-conjugado anterior. Acho que é sinônimo de conjugado condicional, mas se você fornecer uma referência ao seu uso no livro, eu devo fornecer uma definição.

Eu gostaria de usar o multivariado normal como exemplo.

Lembre-se de que a probabilidade é dada por

$$P(y_1,y_2,...,y_n|\mu,\Sigma) = (2\pi)^{-\frac{ND}{2}}\det(\Sigma)^{-\frac{N}{2}}\exp(\frac{1}{2}\sum_{i=1}^N(x_i-\mu)^T\Sigma^{-1}(x_i-\mu))$$

A fim de encontrar um antes dessa probabilidade, podemos escolher

$$P(\mu,\Sigma)=\text{Normal}(\mu;\mu_0,\Lambda_0)\text{InverseWishart}(\Sigma;\nu_0,S_0)$$

Garanto que NÃO se preocupe com por enquanto; eles são simplesmente parâmetros da distribuição anterior.$\mu_0,\Lambda_0,\nu_0,S_0$

O importante é, no entanto, que isso não seja conjugado com a probabilidade. Para entender por que, eu gostaria de citar uma referência que encontrei online.

observe que e aparecem juntos de maneira não fatorada na probabilidade; portanto, eles também serão acoplados na parte posterior$\mu$$\Sigma$

A referência é "Machine Learning: A Probabilistic Perspective", de Kevin P. Murphy. Aqui está o link . Você pode encontrar a cotação na Seção 4.6 (Inferindo os parâmetros de uma MVN) na parte superior da página 135.

Para continuar a cotação,

O acima anterior é por vezes chamado de semi-conjugado ou condicionalmente conjugado , uma vez que ambos os condicionais, e , são individualmente conjugado. Para criar um conjugado completo a prior , precisamos usar um prior em que e sejam dependentes um do outro. Usaremos uma distribuição conjunta do formuláriop ( Σ | μ ) μ $p(\mu|\Sigma)$$p(\Sigma|\mu)$$\mu$$\Sigma$

$$p(\mu, \Sigma) = p(\Sigma)p(\mu|\Sigma)$$

A idéia aqui é que a primeira distribuição prévia

$$P(\mu,\Sigma)=\text{Normal}(\mu;\mu_0,\Lambda_0)\text{InverseWishart}(\Sigma;\nu_0,S_0)$$

assume que e são separáveis ​​(ou independentes em um sentido). No entanto, observamos que na função de probabilidade, e não podem ser fatorados separadamente, o que implica que eles não serão separáveis ​​no posterior (Lembre-se, ). Isso mostra que o "não separável" posterior e o "separável" anterior no início não são conjugados. Por outro lado, reescrevendo$\mu$$\Sigma$$\mu$$\Sigma$$(\text{Posterior}) \sim (\text{Prior})(\text{Likelihood})$

$$p(\mu, \Sigma) = p(\Sigma)p(\mu|\Sigma)$$

de modo que e dependam um do outro (através de ), você obterá um conjugado prioritário, denominado como semi-conjugado prioritário . Espero que isso responda à sua pergunta.$\mu$$\Sigma$$p(\mu|\Sigma)$

ps : Outra referência realmente útil que usei é "Um Primeiro Curso de Métodos Estatísticos Bayesianos", de Peter D. Hoff. Aqui está um link para o livro. Você pode encontrar conteúdo relevante na Seção 7, a partir da página 105, e ele tem uma explicação (e intuição) muito boa sobre a distribuição normal de variável única na Seção 5, a partir da página 67, que será reforçada novamente na Seção 7, quando ele lida com MVN.

Se é uma classe de distribuições de amostragem e é uma classe de distribuições anteriores para , então a classe é semiconjugada para se para todos os e , onde e não pertence à classe .P ( Y | θ , φ ) P θ P F p ( θ | y , φ ) ∈ P p ( ⋅ | θ , φ ) ∈ F p ( θ , φ ) = p ( θ ) × p ( φ ) p ( θ ) ∈ P p ( ϕ ) $F$$p(y|θ,ϕ)$$P$$θ$$P$$F$$p(θ|y,ϕ)∈P$$p(⋅|θ,ϕ)∈F$$p(θ,ϕ)=p(θ)\times p(ϕ)$$p(θ)∈P$$p(ϕ)$$P$