Como um prévio inadequado pode levar a uma distribuição posterior adequada?

Sabemos que, no caso de uma distribuição prévia adequada,

$P(\theta \mid X) = \dfrac{P(X \mid \theta)P(\theta)}{P(X)}$

$\propto P(X \mid \theta)P(\theta)$ .

A justificativa usual para esta etapa é que a distribuição marginal de , é constante em relação a e, portanto, pode ser ignorada ao derivar a distribuição posterior.$X$$P(X)$$\theta$

No entanto, no caso de um anterior impróprio, como você sabe que a distribuição posterior realmente existe? Parece haver algo faltando nesse argumento aparentemente circular. Em outras palavras, se eu presumo que o posterior existe, entendo a mecânica de como derivar o posterior, mas parece que estou perdendo a justificativa teórica de por que ele existe.

PS Também reconheço que há casos em que um anterior impróprio leva a um posterior impróprio.

Geralmente aceitamos posteriores de anteriores impróprios se existe e é uma distribuição de probabilidade válida (ou seja, ele se integra exatamente a 1 no suporte). Essencialmente, isso se resume a finito. Se for esse o caso, chamamos essa quantidade de \ pi (\ theta \ mid X) e a aceitamos como a distribuição posterior que queremos. No entanto, é importante notar que essa NÃO é uma distribuição posterior, nem uma distribuição de probabilidade condicional (esses dois termos são sinônimos no contexto aqui).$\pi(\theta)$ π(X)=∫π(X|θ)π(θ

Agora, eu disse que aceitamos distribuições "posteriores" de anteriores impróprios, dado o exposto acima. A razão pela qual eles são aceitos é porque o ainda nos dará 'pontuações' relativas no espaço do parâmetro; isto é, a proporção traz significado à nossa análise. O significado que obtemos dos priores impróprios em alguns casos pode não estar disponível nos priores apropriados. Esta é uma justificativa potencial para usá-los. Veja a resposta de Sergio para um exame mais minucioso da motivação prática de anteriores impróprios.π ( θ 1$\pi(\theta)$$\frac{\pi(\theta_1)}{\pi(\theta_2)}$

Vale ressaltar que essa quantidade também possui propriedades teóricas desejáveis, Degroot & Schervish :$\pi(\theta \mid X)$

Priores impróprios não são verdadeiras distribuições de probabilidade, mas se fingirmos que são, calcularemos distribuições posteriores que se aproximam dos posteriores que obteríamos usando anteriores conjugados adequados com valores extremos dos hiperparâmetros anteriores.

Há uma resposta "teórica" ​​e uma resposta "pragmática".

Do ponto de vista terórico, quando um prioritário é impróprio, o posterior não existe (bem, observe a resposta de Mateus para uma afirmação mais sólida), mas pode ser aproximado por uma forma limitadora.

Se os dados compreenderem uma amostra condicionalmente da distribuição Bernoulli com o parâmetro , e tiver a distribuição beta com os parâmetros e , a distribuição posterior de será a distribuição beta com os parâmetros ( observações, sucessos) e sua média é . Se usarmos a distribuição beta imprópria (e irreal) antes dos parâmetros de hype anteriores e fingirmos queθ α β θ α + s , β + n - s n s ( α + s ) / ( α + β + n ) α = β = 0 π ( θ ) ∝ θ - 1 ( 1 - θ ) - 1 θ s - 1 ( 1 - θ ) n - $\theta$$\theta$$\alpha$$\beta$$\theta$$\alpha + s, \beta+n-s$$n$$s$$(\alpha+s)/(\alpha+\beta+n)$$\alpha=\beta=0$$\pi(\theta)\propto\theta^{-1}(1-\theta)^{-1}$, obtemos uma proporcional posterior adequada a , ou seja, o pdf da distribuição beta com parâmetros e exceto por um fator constante. Esta é a forma limitadora do posterior para um beta anterior com os parâmetros e (Degroot & Schervish, Exemplo 7.3.13). sn-sα→0β→$\theta^{s-1}(1-\theta)^{n-s-1}$$s$$n-s$$\alpha\to 0$$\beta\to 0$

Em um modelo normal com média , variação conhecida e uma distribuição anterior para , se a precisão anterior, , é pequeno em relação à precisão dos dados, , então a distribuição posterior é aproximadamente como se : ou seja, a distribuição posterior é aproximadamente a que resultaria da suposição de que é proporcional a uma constante paraσ 2 N ( μ 0 , τ 2 0 ) θ 1 / τ 2 0 n / σ 2 τ 2 0 = ∞ p ( θ ∣ x ) ≈ N ( θ ∣ ˉ x , σ 2 / n ) p ( θ ) θ ∈ ( - ∞ , ∞ ) τ 2 $\theta$$\sigma^2$$\mathcal{N}(\mu_0,\tau^2_0)$$\theta$$1/\tau^2_0$$n/\sigma^2$$\tau^2_0=\infty$

Do ponto de vista "pragmático", quando seja qual for o , portanto, se em , então . Priores impróprios podem ser empregados para representar o comportamento local da distribuição anterior na região onde a probabilidade é apreciável, digamos . Supondo que, para uma aproximação suficiente, um anterior siga formas como ou somente acima dep ( x ∣ θ ) = 0 p ( θ ) p ( x ∣ θ ) ≠ 0 ( a , b ) ∫ ∞ - ∞ p ( x ∣ θ ) p ( θ ) d θ = ∫ b a p ( x $p(x\mid\theta)p(\theta)=0$$p(x\mid\theta)=0$$p(\theta)$$p(x\mid\theta)\ne 0$$(a,b)$( um , b ) f ( x ) = k , x ∈ ( - ∞ , ∞ ) f ( x ) = K x - 1 , x ∈ ( 0 , ∞ ) ( um , b ) θ U ( - ∞ , ∞ ) ( a $\int_{-\infty}^{\infty}p(x\mid\theta)p(\theta)d\theta=\int_a^b p(x\mid\theta)p(\theta)d\theta$$(a,b)$$f(x)=k, x\in(-\infty,\infty)$$f(x)=kx^{-1}, x\in(0,\infty)$$(a,b)$, para que zero caia adequadamente fora desse intervalo, garantimos que os anteriores realmente usados ​​sejam adequados ( Box e Tiao , p. 21). Portanto, se a distribuição anterior de for mas estiver limitada, será como se , ou seja, . Para um exemplo concreto, é o que acontece em Stan : se nenhum prior é especificado para um parâmetro, ele recebe implicitamente um uniforme anterior em seu suporte e isso é tratado como uma multiplicação da probabilidade por uma constante.$\theta$$\mathcal{U}(-\infty,\infty)$θ ∼ U ( a , b ) p ( x ∣ θ ) p ( θ ) = p ( x ∣ θ ) k ∝ p ( x ∣ θ $(a,b)$$\theta\sim\mathcal{U}(a,b)$$p(x\mid\theta)p(\theta)=p(x\mid\theta)k\propto p(x\mid\theta)$

No entanto, no caso de um anterior impróprio, como você sabe que a distribuição posterior realmente existe?

O posterior também pode não ser adequado. Se o prior é impróprio e a probabilidade é plana (porque não há observações significativas), o posterior é igual ao prior e também é impróprio.

Geralmente você tem algumas observações, e geralmente a probabilidade não é plana, portanto a posterior é adequada.