"Esquecimento" do prior no cenário bayesiano?

É bem conhecido que, como você tem mais provas (dizer na forma de maior para exemplos IID), a Bayesian antes se "esquecido", e mais da inferência é impactado pela evidência (ou a probabilidade). $n$ $n$

É fácil vê-lo em vários casos específicos (como Bernoulli com Beta anterior ou outro tipo de exemplo) - mas existe uma maneira de vê-lo no caso geral com e alguns ? $x_1,\ldots,x_n \sim p(x|\mu)$ $p(\mu)$

Edição: Eu estou supondo que não pode ser mostrado no caso geral para qualquer anterior (por exemplo, um ponto de massa anterior manteria o posterior uma massa de ponto). Mas talvez haja certas condições sob as quais um prior é esquecido.

Aqui está o tipo de "caminho" em que estou pensando em mostrar algo assim:

Suponha que o espaço do parâmetro seja e que e sejam dois anteriores que colocam a massa de probabilidade diferente de zero em todos os . Portanto, os dois cálculos posteriores para cada valor anterior a: $\Theta$ $p(\theta)$ $q(\theta)$ $\Theta$

p (θ | x_{1}, \dots, x_{n}) = \frac{\prod_{i} p (x_{i} | θ) p (θ)}{\int_{θ} \prod_{i} p (x_{i} | θ) p (θ) d θ}

$p(\theta | x_1,\ldots,x_n) = \frac{\prod_i p(x_i | \theta) p(\theta)}{\int_{\theta} \prod_i p(x_i | \theta) p(\theta) d\theta}$

q (θ | x_{1}, \dots, x_{n}) = \frac{\prod_{i} p (x_{i} | θ) q (θ)}{\int_{θ} \prod_{i} p (x_{i} | θ) q (θ) d θ}

$q(\theta | x_1,\ldots,x_n) = \frac{\prod_i p(x_i | \theta) q(\theta)}{\int_{\theta} \prod_i p(x_i | \theta) q(\theta) d\theta}$

$p$ $q$

p (θ | x_{1}, \dots, x_{n}) / q (θ | x_{1}, \dots, x_{n}) = \frac{p (θ) \int_{θ} \prod_{i} p (x_{i} | θ) q (θ) d θ}{q (θ) \int_{θ} \prod_{i} p (x_{i} | θ) p (θ) d θ}

$p(\theta | x_1,\ldots,x_n)/q(\theta | x_1,\ldots,x_n) = \frac{p(\theta)\int_{\theta} \prod_i p(x_i | \theta) q(\theta)d \theta}{q(\theta)\int_{\theta} \prod_i p(x_i | \theta) p(\theta)d \theta}$

$n$ $\infty$ $1$ $\theta$

bayesian prior bayesianOrFrequentist
fonte

Para alguma intuição, observe que a probabilidade varia com o tamanho da amostra, enquanto a anterior não.

Macro

@ Macro, obrigado, eu também tive essa intuição, mas não pude ir além. Veja minhas edições acima.

precisa saber é o seguinte

Os primeiros capítulos do livro Bayesian Nonparametrics de Ghosh e Ramamoorthi descrevem o tipo de coisa que você está falando (inicialmente em um cenário paramétrico, depois não paramétrico); Ele está disponível gratuitamente no Springer on-line, se você estiver em uma instituição apropriada. Existem várias maneiras de formalizar a falta de dependência do anterior assintoticamente, mas é claro que existem algumas condições de regularidade.

cara,

Observe que a proporção posterior é apenas proporcional à proporção anterior, portanto, a probabilidade ou a razão de evidência realmente não influenciam isso.

probabilityislogic

Respostas:

Apenas uma resposta áspera, mas esperamos que intuitiva.

$- \log P (θ | x_{1}, \dots, x_{n}) = - \log P (θ) - \sum_{i = 1}^{n} \log P (x_{i} | θ) - C_{n}$ $-\log P(\theta|x_1, \ldots, x_n) = -\log P(\theta) -\sum_{i=1}^n \log P(x_i|\theta) - C_n$ $C_n>0$ $S_{n} = - \log P (θ) - \sum_{i = 1}^{n} \log P (x_{i} | θ)$ $S_n = -\log P(\theta) -\sum_{i=1}^n \log P(x_i|\theta)$
$D>0$ $-\log P(\theta) \leq D$
$S_n$ $D$ $D/S_n$

É claro que provas rigorosas precisam enfrentar os aspectos técnicos (e podem ser muito difíceis), mas a configuração acima é IMHO a parte muito básica.

Pedro A. Ortega
fonte

Estou um pouco confuso com o que significam as afirmações que o "prior é esquecido" e "a maior parte da inferência é impactada pela evidência". Suponho que você queira dizer que, à medida que a quantidade de dados aumenta, o (sequência de) estimador (es) se aproxima do valor real do parâmetro, independentemente do nosso anterior.

$\theta_0$

\frac{E [\hat{θ} | θ_{0}] - θ_{0}}{\sqrt{V a r (\hat{θ})}} \overset{p}{\to} 0

$\frac{E[\hat{\theta}|\theta_0]-\theta_0}{\sqrt{\mathrm{Var}(\hat{\theta})}}\overset{p}\rightarrow0$

A convergência não depende da forma específica do prior, mas apenas que a distribuição posterior obtida do prior e a probabilidade satisfazem as condições de regularidade.

A condição de regularidade mais importante mencionada em Gelman et al é que a probabilidade de ser uma função contínua do parâmetro e o valor real do parâmetro estar no interior do espaço do parâmetro. Além disso, como você observou, o posterior deve ser diferente de zero em uma vizinhança aberta do valor verdadeiro do valor verdadeiro do parâmetro. Normalmente, seu prior deve ser diferente de zero em todo o espaço de parâmetros.

Caburke
fonte

obrigado, muito perspicaz. Na verdade, eu esperava um resultado que nem se relacionasse com o valor do parâmetro "true". Apenas mostrando que tecnicamente, à medida que você tem mais evidências, a parte posterior a ser obtida é a mesma, independentemente da anterior com a qual você começou. Vou fazer algumas edições para refletir isso.

bayesianOrFrequentist

@bayesianOrFrequentist Veja o chamado teorema do limite central bayesiano .

Stéphane Laurent