Posterior muito diferente do anterior e da probabilidade

Se o anterior e a probabilidade são muito diferentes um do outro, às vezes ocorre uma situação em que o posterior é semelhante a nenhum deles. Veja, por exemplo, esta imagem, que usa distribuições normais.

Embora isso seja matematicamente correto, não parece estar de acordo com minha intuição - se os dados não coincidirem com minhas crenças fortemente defendidas ou com os dados, eu esperaria que nenhum intervalo se saísse bem e esperaria um plano posterior posterior. toda a faixa ou talvez uma distribuição bimodal em torno do anterior e da probabilidade (não sei o que faz mais sentido lógico). Eu certamente não esperaria um traseiro apertado em torno de um intervalo que não corresponde nem às minhas crenças anteriores nem aos dados. Entendo que, à medida que mais dados são coletados, o posterior se moverá em direção à probabilidade, mas nessa situação parece contra-intuitivo.

Minha pergunta é: como minha compreensão dessa situação é falha (ou é falha). A posterior é a função `correta 'para esta situação. E se não, de que outra forma poderia ser modelado?

Para completar, o prior é dado como e a probabilidade como .$\mathcal{N}(\mu=1.5, \sigma=0.4)$$\mathcal{N}(\mu=6.1, \sigma=0.4)$

EDIT: Olhando para algumas das respostas dadas, sinto que não expliquei a situação muito bem. Meu argumento foi que a análise bayesiana parece produzir um resultado não-intuitivo, dadas as suposições do modelo. Minha esperança era que o posterior de alguma forma "explicasse" talvez más decisões de modelagem, o que, quando pensado, definitivamente não é o caso. Vou expandir isso na minha resposta.

Sim, essa situação pode surgir e é um recurso de suas premissas de modelagem, especificamente normalidade no modelo anterior e de amostragem (probabilidade). Se você tivesse escolhido uma distribuição de Cauchy para o seu prior, o posterior pareceria muito diferente.

prior = function(x) dcauchy(x, 1.5, 0.4)
like = function(x) dnorm(x,6.1,.4)

# Posterior
propto = function(x) prior(x)*like(x)
d = integrate(propto, -Inf, Inf)
post = function(x) propto(x)/d$value

# Plot
par(mar=c(0,0,0,0)+.1, lwd=2)
curve(like, 0, 8, col="red", axes=F, frame=T)
curve(prior, add=TRUE, col="blue")
curve(post, add=TRUE, col="seagreen")
legend("bottomleft", c("Prior","Likelihood","Posterior"), col=c("blue","red","seagreen"), lty=1, bg="white")

Eu discordo um pouco das respostas dadas até agora - não há nada de estranho nessa situação. A probabilidade é assintoticamente normal de qualquer maneira, e um anterior normal não é incomum. Se você juntar as duas coisas, com o fato de que prévia e probabilidade não dão a mesma resposta, temos a situação de que estamos falando aqui. Eu descrevi isso abaixo com o código por jaradniemi.

Mencionamos em 1 que a conclusão normal de tal observação seria que: a) o modelo está estruturalmente errado; b) os dados estão errados; c) o anterior está errado. Mas algo está errado, com certeza, e você também verá isso se fizer algumas verificações preditivas posteriores, o que deve ser feito de qualquer maneira.

1 Hartig, F.; Dyke, J .; Hickler, T .; Higgins, SI; O'Hara, RB; Scheiter, S. & Huth, A. (2012) Conectando modelos dinâmicos de vegetação a dados - uma perspectiva inversa. J. Biogeogr., 39, 2240-2252. http://onlinelibrary.wiley.com/doi/10.1111/j.1365-2699.2012.02745.x/abstract

prior = function(x) dnorm(x,1,.3)
like = function(x) dnorm(x,-1,.3)

# Posterior
propto = function(x) prior(x)*like(x)
d = integrate(propto, -Inf, Inf)
post = function(x) propto(x)/d$value

# Plot
par(mar=c(0,0,0,0)+.1, lwd=2)
curve(like, -2, 2, col="red", axes=F, frame=T, ylim = c(0,2))
curve(prior, add=TRUE, col="blue")
curve(post, add=TRUE, col="seagreen")
legend("bottomleft", c("Prior","Likelihood","Posterior"), col=c("blue","red","seagreen"), lty=1, bg="white")

Eu sinto que a resposta que eu estava procurando quando se tratou dessa questão é melhor resumida por Lesaffre e Lawson em Bioestatística Bayesiana

A precisão posterior é a soma da precisão anterior e da amostra, ou seja:

$$\frac{1}{\sigma^2} = w_{0} + w_{1}$$ $\mu$$\sigma$

O que isso resume para mim, e é esboçado em outras respostas, é que o caso de modelar priors normais com probabilidade normal pode resultar em uma situação em que a posterior é mais precisa do que qualquer outra. Isso é contra-intuitivo, mas é uma consequência especial da modelagem desses elementos dessa maneira.

$X_1$$X_0$$\mu \sim N(1.6, 0.4^2)$$X_1 \sim N(\mu, 0.4^2)$$X_1$$X_1$$\sqrt{0.4^2 + 0.4^2}=0.56$$2\phi(-(6.1-1.6)/0.56)=9.3\cdot 10^{-16}$$\mu$

$X_0 \sim N(\mu,0.4^2)$$X_0$$X_0$$X_1$$|X_1-X_0|>6.1-1.6$

$X_0$$X_1$

Depois de pensar sobre isso por um tempo, minha conclusão é que, com suposições ruins de modelagem, o posterior pode ser um resultado que não concorda com crenças anteriores ou com a probabilidade. A partir disso, o resultado natural é que o posterior não é , em geral, o fim da análise. Se o posterior deve ajustar aproximadamente os dados ou deve ser difuso entre o anterior e a probabilidade (neste caso), isso deve ser verificado após o fato, provavelmente com um teste preditivo posterior ou algo assim semelhante. Incorporar isso ao modelo parece exigir a capacidade de colocar probabilidades em declarações probabilísticas, o que não acho possível.

Eu acho que essa é realmente uma pergunta realmente interessante. Tendo dormido, acho que tenho uma facada na resposta. A questão principal é a seguinte:

• Você tratou a probabilidade como um pdf gaussiano. Mas não é uma distribuição de probabilidade - é uma probabilidade! Além do mais, você não rotulou seu eixo claramente. Essas coisas combinadas confundiram tudo o que se segue.

$\mu$$\sigma$$P(\mu|\mu', \sigma')$$\mu'$$\sigma'$$P(X|\mu, \sigma)$$X$$P(\mu|X, \sigma, \mu', \sigma')$$\mu$

$\mu$$P(X|\mu)$

$\sigma'^2 = \sigma^2/N$$\sigma^2$$N$$X$

Portanto, o anterior e a probabilidade são igualmente informativos. Por que o bimodal posterior não é? Isso ocorre devido às suas suposições de modelagem. Você assumiu implicitamente uma distribuição normal da maneira como ela é configurada (normal anterior, probabilidade normal) e isso restringe o posterior a fornecer uma resposta unimodal. Essa é apenas uma propriedade das distribuições normais, que você incorporou ao problema usando-as. Um modelo diferente não teria necessariamente feito isso. Tenho a sensação (embora ainda não haja uma prova) de que uma distribuição cauchy pode ter uma probabilidade multimodal e, portanto, uma posterior multimodal.

Portanto, temos que ser unimodais, e o anterior é tão informativo quanto a probabilidade. Sob essas restrições, a estimativa mais sensata começa a parecer um ponto diretamente entre a probabilidade e a anterior, pois não temos uma maneira razoável de dizer em que acreditar. Mas por que o posterior fica mais apertado?

$\sigma$$\mu$$\sigma$$\sigma$$\sigma$$\mu$

(Uma maneira de visualizá-lo pode ser imaginar estimar a média de um gaussiano, com variação conhecida, usando apenas dois pontos de amostra. Se os dois pontos de amostra forem separados por muito mais do que a largura do gaussiano (ou seja, eles estão fora nas caudas), então há fortes evidências de que a média realmente está entre elas. Mudar a média um pouco dessa posição causará uma queda exponencial na probabilidade de uma amostra ou outra.)

Em resumo, a situação que você descreveu é um pouco estranha e, ao usar o modelo, você incluiu algumas suposições (por exemplo, unimodalidade) no problema que você não sabia que tinha. Mas, caso contrário, a conclusão está correta.