Atualização bayesiana com novos dados

Como calcular o posterior com um N ~ (a, b) anterior após observar n pontos de dados? Suponho que tenhamos que calcular a média e a variação da amostra dos pontos de dados e fazer algum tipo de cálculo que combine o posterior com o anterior, mas não tenho muita certeza de como é a fórmula da combinação.

A idéia básica da atualização bayesiana é que, dados alguns dados $X$ e o parâmetro de interesse anterior acima $\theta$ , onde a relação entre dados e parâmetro é descrita usando a função de verossimilhança , use o teorema de Bayes para obter posterior

$$p(\theta \mid X) \propto p(X \mid \theta) \, p(\theta)$$

Isso pode ser feito sequencialmente, onde, depois de ver o primeiro ponto de dados $x_1$ antes de $\theta$ ser atualizado para posterior $\theta'$ , em seguida, você pode pegar o segundo ponto de dados $x_2$ e usar posterior obtido antes de $\theta'$ como seu anterior , para atualizá-lo novamente etc.

Deixe-me lhe dar um exemplo. Imagine que você deseja estimar médio $\mu$da distribuição normal e $\sigma^2$ é conhecido por você. Nesse caso, podemos usar o modelo normal-normal. Assumimos normal antes para $\mu$ com hiperparâmetros $\mu_0,\sigma_0^2:$

$$\begin{align} X\mid\mu &\sim \mathrm{Normal}(\mu,\ \sigma^2) \\ \mu &\sim \mathrm{Normal}(\mu_0,\ \sigma_0^2) \end{align}$$

Como a distribuição normal é um conjugado anterior para da distribuição normal, temos uma solução de forma fechada para atualizar o anterior$\mu$

$$\begin{align} E(\mu' \mid x) &= \frac{\sigma^2\mu + \sigma^2_0 x}{\sigma^2 + \sigma^2_0} \\[7pt] \mathrm{Var}(\mu' \mid x) &= \frac{\sigma^2 \sigma^2_0}{\sigma^2 + \sigma^2_0} \end{align}$$

Infelizmente, essas soluções simples de formulário fechado não estão disponíveis para problemas mais sofisticados e você precisa confiar em algoritmos de otimização (para estimativas pontuais usando a abordagem máxima a posteriori ) ou em simulação MCMC.

Abaixo você pode ver um exemplo de dados:

n <- 1000
set.seed(123)
x     <- rnorm(n, 1.4, 2.7)
mu    <- numeric(n)
sigma <- numeric(n)

mu[1]    <- (10000*x[i] + (2.7^2)*0)/(10000+2.7^2)
sigma[1] <- (10000*2.7^2)/(10000+2.7^2)
for (i in 2:n) {
  mu[i]    <- ( sigma[i-1]*x[i] + (2.7^2)*mu[i-1] )/(sigma[i-1]+2.7^2)
  sigma[i] <- ( sigma[i-1]*2.7^2                  )/(sigma[i-1]+2.7^2)
}

Se você plotar os resultados, verá como a abordagem posterior se aproxima do valor estimado (seu valor verdadeiro é marcado pela linha vermelha) à medida que novos dados são acumulados.

Para saber mais, você pode conferir os slides e a análise bayesiana conjugada do artigo de distribuição gaussiano de Kevin P. Murphy. Verifique também Os priores Bayesianos se tornam irrelevantes com um grande tamanho de amostra? Você também pode verificar essas notas e esta entrada do blog para obter uma introdução passo a passo acessível à inferência bayesiana.

Se você possui um e uma função de probabilidade P ( x ∣ θ ), pode calcular o posterior com:$P(\theta)$$P(x \mid \theta)$

$$P(\theta \mid x) = \frac{\sum_\theta P(x \mid \theta) P(\theta)}{P(x)}$$

Desde é apenas uma constante de normalização para somar probabilidades a um, você pode escrever:$P(x)$

$$P(\theta \mid x) \sim \sum_\theta P(x \mid \theta)P(\theta)$$

Onde significa "é proporcional a".$\sim$

O caso dos anteriores conjugados (onde você costuma obter boas fórmulas fechadas)

$\boldsymbol{\theta}$$P(\boldsymbol{\theta})$$P(\mathbf{x} \mid \boldsymbol{\theta})$$P(\boldsymbol{\theta})$ $P(\boldsymbol{\theta} \mid \mathbf{x})$ estiverem na mesma família (por exemplo, ambos gaussianos).

A tabela de distribuições conjugadas pode ajudar a criar alguma intuição (e também fornecer alguns exemplos instrutivos para você trabalhar).

Esse é o problema central da computação para a análise de dados bayesianos. Realmente depende dos dados e distribuições envolvidos. Para casos simples em que tudo pode ser expresso em forma fechada (por exemplo, com anteriores conjugados), você pode usar o teorema de Bayes diretamente. A família de técnicas mais popular para casos mais complexos é a cadeia de Markov Monte Carlo. Para detalhes, consulte qualquer livro introdutório sobre análise de dados bayesiana.