Qual a relação entre o tamanho da amostra e a influência do anterior no posterior?

17

Se tivermos um tamanho pequeno de amostra, a distribuição anterior influenciará muito a distribuição posterior?

toby j
fonte
5
A intuição é clara: quanto mais dados você tiver, menos precisará confiar nos seus anteriores. Não apenas uma lição de estatística, mas uma lição de vida! ;)
Lucas Reis

Respostas:

27

Sim. A distribuição posterior para um parâmetro , dado um conjunto de dados X, pode ser escrita comoθX

p(θ|X)p(X|θ)euEukeeuEuhoodp(θ)prEuor

ou, como é mais comumente exibido na escala de log,

registro(p(θ|X))=c+eu(θ;X)+registro(p(θ))

A probabilidade logarítmica, , escala com o tamanho da amostra , pois é uma função dos dados, enquanto a densidade anterior não. Portanto, à medida que o tamanho da amostra aumenta, o valor absoluto de L ( θ ; X ) fica maior enquanto o log ( p ( θ ) ) permanece fixo (para um valor fixo de θ ), assim a soma L ( θ ; X )eu(θ;X)=registro(p(X|θ))eu(θ;X)registro(p(θ))θ se torna mais fortemente influenciado por L ( θ ; X ) à medida que o tamanho da amostra aumenta.eu(θ;X)+registro(p(θ))eu(θ;X)

Portanto, para responder diretamente à sua pergunta - a distribuição anterior se torna cada vez menos relevante à medida que se torna compensada pela probabilidade. Portanto, para um pequeno tamanho de amostra, a distribuição anterior desempenha um papel muito maior. Isso concorda com a intuição, pois você esperaria que as especificações anteriores tivessem um papel maior quando não houvesse muitos dados disponíveis para refutá-las, enquanto que, se o tamanho da amostra for muito grande, o sinal presente nos dados será superior a priori crenças foram colocadas no modelo.

Macro
fonte
6
cn
20

pBEunomEuumaeu(n,p)nx=n/2n1/2

n=2n=50.

Betuma(1/2,1/2)Betuma(2,2)

Distribuições posteriores

n=50.

MånsT
fonte
4
Ilustrações muito legais, @ MånsT. Desmarquei as palavras 'Beta' e 'Binomial' na sua resposta - espero que você não se importe.
Macro
Claro que não, @Macro! Concordo que parece melhor assim.
MånsT