Nos modelos Normal e Binomial, a variação posterior é sempre menor que a variação anterior?

10

Ou que condições garantem isso? Em geral (e não apenas nos modelos normal e binomial), suponho que a principal razão que quebrou essa afirmação é que há inconsistência entre o modelo de amostragem e o anterior, mas o que mais? Estou começando com este tópico, então eu realmente aprecio exemplos fáceis

Ruído vermelho
fonte

Respostas:

9

Como as variações posteriores e anteriores em satisfazem (com denotando a amostra) assumindo que todas as quantidades existem, você pode esperar que a variação posterior seja menor em média (em ). Este é em particular o caso quando a variância posterior é constante em . Mas, como mostra a outra resposta, pode haver realizações da variância posterior maiores, uma vez que o resultado se mantém apenas na expectativa.X var ( θ ) = E [ var ( θ | X ) ] + var ( E [ θ | X ] ) X XθX

var(θ)=E[var(θ|X)]+var(E[θ|X])
XX

Para citar Andrew Gelman,

Consideramos isso no capítulo 2 da Análise de dados bayesiana , acho que em alguns dos problemas da lição de casa. A resposta curta é que, na expectativa, a variação posterior diminui à medida que você obtém mais informações, mas, dependendo do modelo, em casos específicos, a variação pode aumentar. Para alguns modelos, como normal e binomial, a variação posterior só pode diminuir. Mas considere o modelo t com baixos graus de liberdade (que pode ser interpretado como uma mistura de normais com média comum e diferentes variações). se você observar um valor extremo, isso é evidência de que a variação é alta e, de fato, sua variação posterior pode aumentar.

Xi'an
fonte
@Xian, você poderia dar uma olhada na minha "resposta", que parece contradizer a sua? Se Gelman e você diz alguma coisa sobre estatística Bayesiana, estou muito mais inclinado a confiar em você do que eu ...
Christoph Hanck
11
Nenhum conflito entre nossas respostas. Existe até um exercício no BDA que corresponde ao seu exemplo, ou seja, encontre dados que definam a variação posterior Beta maior que a variação anterior.
Xian
Uma questão interessante de acompanhamento seria: quais são as condições que garantem a convergência da variação para 0 à medida que o tamanho da amostra aumenta.
Julien
8

Será mais uma pergunta para @ Xi'an do que uma resposta.

V(θ|y)=α1β1(α1+β1)2(α1+β1+1)=(α0+k)(nk+β0)(α0+n+β0)2(α0+n+β0+1),
nkα0,β0
V(θ)=α0β0(α0+β0)2(α0+β0+1)
n <- 10         
k <- 1
alpha0 <- 100
beta0 <- 20

theta <- seq(0.01,0.99,by=0.005)
likelihood <- theta^k*(1-theta)^(n-k) 
prior <- function(theta,alpha0,beta0) return(dbeta(theta,alpha0,beta0))
posterior <- dbeta(theta,alpha0+k,beta0+n-k)

plot(theta,likelihood,type="l",ylab="density",col="lightblue",lwd=2)

likelihood_scaled <- dbeta(theta,k+1,n-k+1)
plot(theta,likelihood_scaled,type="l",ylim=c(0,max(c(likelihood_scaled,posterior,prior(theta,alpha0,beta0)))),ylab="density",col="lightblue",lwd=2)
lines(theta,prior(theta,alpha0,beta0),lty=2,col="gold",lwd=2)
lines(theta,posterior,lty=3,col="darkgreen",lwd=2)
legend("top",c("Likelihood","Prior","Posterior"),lty=c(1,2,3),lwd=2,col=c("lightblue","gold","darkgreen"))

 > (postvariance <- (alpha0+k)*(n-k+beta0)/((alpha0+n+beta0)^2*(alpha0+n+beta0+1)))
[1] 0.001323005
> (priorvariance <- (alpha0*beta0)/((alpha0+beta0)^2*(alpha0+beta0+1)))
[1] 0.001147842

Portanto, este exemplo sugere uma maior variação posterior no modelo binomial.

Obviamente, essa não é a variação posterior esperada. É aí que reside a discrepância?

A figura correspondente é

insira a descrição da imagem aqui

Christoph Hanck
fonte
4
Ilustração perfeita. E não há discrepância entre os fatos de que a variação posterior realizada é maior que a variação anterior e que a expectativa é menor.
Xian
11
Forneci um link para esta resposta como um excelente exemplo do que também estava sendo discutido aqui . Esse resultado (essa variação às vezes aumenta à medida que os dados são coletados) se estende à entropia.
Don Junik