Qual a relação entre o tamanho da amostra e a influência do anterior no posterior?

Se tivermos um tamanho pequeno de amostra, a distribuição anterior influenciará muito a distribuição posterior?

Sim. A distribuição posterior para um parâmetro , dado um conjunto de dados X, pode ser escrita como$\theta$${\bf X}$

$$p(\theta | {\bf X}) \propto \underbrace{p({\bf X} | \theta)}_{{\rm likelihood}} \cdot \underbrace{p(\theta)}_{{\rm prior}}$$

ou, como é mais comumente exibido na escala de log,

$$\log( p(\theta | {\bf X}) ) = c + L(\theta;{\bf X}) + \log(p(\theta))$$

A probabilidade logarítmica, , escala com o tamanho da amostra , pois é uma função dos dados, enquanto a densidade anterior não. Portanto, à medida que o tamanho da amostra aumenta, o valor absoluto de L ( θ ; X ) fica maior enquanto o log ( p ( θ ) ) permanece fixo (para um valor fixo de θ ), assim a soma L ( θ ; X$L(\theta;{\bf X}) = \log \left( p({\bf X}|\theta) \right)$$L(\theta;{\bf X})$$\log(p(\theta))$$\theta$ se torna mais fortemente influenciado por L ( θ ; X ) à medida que o tamanho da amostra aumenta.$L(\theta;{\bf X}) + \log(p(\theta))$$L(\theta;{\bf X})$

Portanto, para responder diretamente à sua pergunta - a distribuição anterior se torna cada vez menos relevante à medida que se torna compensada pela probabilidade. Portanto, para um pequeno tamanho de amostra, a distribuição anterior desempenha um papel muito maior. Isso concorda com a intuição, pois você esperaria que as especificações anteriores tivessem um papel maior quando não houvesse muitos dados disponíveis para refutá-las, enquanto que, se o tamanho da amostra for muito grande, o sinal presente nos dados será superior a priori crenças foram colocadas no modelo.

$p$${\rm Binomial}(n,p)$$n$$x=n/2$$n$$1/2$

$n=2$$n=50$

${\rm Beta(1/2,1/2)}$${\rm Beta(2,2)}$

$n=50$