Igual ou diferente? O caminho bayesiano

Digamos que tenho o seguinte modelo:

Poisson (λ) \sim {\begin{cases} λ_{1} & if t < τ \\ λ_{2} & if t \geq τ \end{cases}

$\text{Poisson}(\lambda) \sim \begin{cases} \lambda_1 & \text{if } t \lt \tau \\ \lambda_2 & \text{if } t \geq \tau \end{cases}$

E deduzo os posteriores para e mostrados abaixo a partir dos meus dados. Existe uma maneira bayesiana de dizer (ou quantificar) se e são iguais ou diferentes ? $\lambda_1$ $\lambda_2$ $\lambda_1$ $\lambda_2$

Talvez medindo a probabilidade de que seja diferente de $\lambda_1$ $\lambda_2$ ? Ou talvez usando divergências KL?

Por exemplo, como posso medir ou pelo menos ? $p(\lambda_2 \neq \lambda_1)$ $p(\lambda_2 \gt \lambda_1)$

Em geral, depois que você mostra os posteriores abaixo (assuma valores PDF diferentes de zero em qualquer lugar para ambos), qual é uma boa maneira de responder a essa pergunta?

insira a descrição da imagem aqui

Atualizar

Parece que esta pergunta pode ser respondida de duas maneiras:

Se tivermos amostras das posteriores, poderemos examinar a fração das amostras em que (ou equivalente ). O @ Cam.Davidson.Pilon incluiu uma resposta que resolveria esse problema usando essas amostras. $\lambda_1 \neq \lambda_2$ $\lambda_2 > \lambda_1$
Integrando algum tipo de diferença dos posteriores. E essa é uma parte importante da minha pergunta. Como seria essa integração? Presumivelmente, a abordagem de amostragem aproximaria essa integral, mas eu gostaria de saber a formulação dessa integral.

Nota: Os gráficos acima são provenientes deste material .

distributions bayesian poisson-distribution Amelio Vazquez-Reina
fonte

Você pode apenas calcular a variação de ambas as distribuições e adicioná-las. Essa é a variação da diferença nos meios. Em seguida, calcule a diferença nas médias e veja quantos desvios padrão são. Você pode aproximar ambas as distribuições com normal para iniciar e usar os intervalos de confiança habituais para uma distribuição normal. São meios claramente diferentes.

Dave31415

Teste de hipóteses intrínseca é uma resposta

Stéphane Laurent

Todos os cálculos necessários são fornecidos em meu trabalho , mas eu não ter estudado o caso de ( é a relação entre as duas taxas de Poisson)

H_{0} : {ϕ = 1}

$H_0:\{\phi=1\}$

ϕ

$\phi$

Stéphane Laurent

Obrigado @ StéphaneLaurent. Seu artigo é um excelente indicador, mas parece ser específico dos processos de Poisson. Qual é a comparação, em alto nível, que um bayesiano pode fazer para estimar se é igual ou diferente de ? A análise precisa ser específica da distribuição?

λ_{2}

$\lambda_2$

λ_{1}

$\lambda_1$

Amelio Vazquez-Reina

Desculpe @ user023472 Não tenho energia atualmente. Veja os artigos de Bernardo citados no meu artigo. "Intrínseco" significa que o método é derivado e somente do modelo.

Stéphane Laurent

Respostas:

Eu acho que uma pergunta melhor é : eles são significativamente diferentes?

Para responder a isso, precisamos calcular . Chame essa quantidade . Se , há chances iguais de que um seja maior que o outro. Por outro lado, se estiver realmente próximo de 1, podemos ter certeza de que sim é maior (leia-se: diferente) que . $P(\lambda_2 > \lambda_1)$ $p$ $p \approx 0.50$ $p$ $\lambda_2$ $\lambda_1$

Como computamos ? É trivial em uma estrutura Bayesian MCMC. Como temos amostras do posterior, vamos calcular a probabilidade de que as amostras de sejam maiores que : $p$ $\lambda_2$ $\lambda_1$

 p = np.mean( lambda_2_samples > lambda_1_samples )
 print p

Peço desculpas por não ter incluído isso no livro, vou adicioná-lo definitivamente, pois acho que é uma das idéias mais úteis na inferência bayesiana

Cam.Davidson.Pilon
fonte

A probabilidade é de 1,0, são diferentes, pois são variáveis aleatórias contínuas. Considere: qual é o seu palpite anterior de que ? Você realmente acha que eles são iguais? (Ignore o teste de hipóteses: estamos vivendo no mundo real, onde as variáveis nunca são realmente iguais). Veja este post do meu herói, Gelman. Computacionalmente, você pode testar isso computando .

λ_{1} = λ_{2}

$\lambda_1 = \lambda_2$ np.mean( lambda_2_samples != lambda_1_samples)

Cam.Davidson.Pilon

Você pode definir como 'diferente' é significativo. Por exemplo, se, no seu exemplo, qualquer diferença menor que uma não for praticamente significativa, você poderá ver e isso forneceria uma estatística significativa para

P (| λ_{1} - λ_{2} | > 1)

$P(|\lambda_1-\lambda_2| > 1)$

P (λ_{1} \neq λ_{2})

$P(\lambda_1 \ne \lambda_2)$

Sam Dickson

Para adicionar ao meu comentário anterior, se as variáveis e forem discretas, há uma chance de que = .

λ_{1}

$\lambda_1$

λ_{2}

$\lambda_2$

λ_{2}

$\lambda_2$

λ_{1}

$\lambda_1$

Cam.Davidson.Pilon

Oh Deus, eu odiaria estar nessa situação! Envolve integrais desagradáveis. Para a maioria dos modelos, não é possível derivar as partes posteriores. Mesmo se você pudesse, ainda seria melhor usar um computador, apenas para obter amostras. Em resumo, amostras> fórmulas para cálculos como este.

Cam.Davidson.Pilon

Você não está medindo "suficientemente maior". Considere uma distribuição com um pico em zero e outra com massas iguais nos picos -10, 10. Sua estatística - o valor esperado do indicador de que uma amostra é maior que a outra - fornece 0,5, mas as distribuições são claramente totalmente diferentes.

Neil G

Como afirmado, essa pergunta é trivial. Supondo que e são variáveis aleatórias contínuas, . $\lambda_1$ $\lambda_2$ $\Pr(\lambda_1=\lambda_2)=0$

Eu suspeito que você esteja interessado na probabilidade de que e estejam a alguns um do outro. Nesse caso, a área da diferença nas duas densidades posteriores no intervalo é a sua resposta. Valores maiores de sobreposição indicam que os dois posteriores são mais semelhantes. $\lambda_1$ $\lambda_2$ $\epsilon$ $[-\epsilon/2, \epsilon/2]$

Se você preferir trabalhar com resultados simulados (e para a maioria dos problemas, não temos o luxo de escolher), basta considerar a proporção dos resultados em que como uma aproximação. $\lambda_2>\lambda_1$

Sycorax diz restabelecer Monica
fonte

Obrigado. Como sua resposta se relaciona com algumas das idéias discutidas nos comentários do OP?

Amelio Vazquez-Reina

Desculpas, mas não estou familiarizado com nenhum desses métodos, por isso não posso comentar significativamente. @ Stéphane_Laurent é bastante inteligente, então eu recomendo olhar no link, no mínimo.

Sycorax diz Restabelecer Monica

@ user023472 Desculpe, hoje não tenho energia para responder sobre a abordagem de discrepância intrínseca. Baseia-se na divergência Kullback-Leibler.

Stéphane Laurent

@ user777 Isto requer fixação . E se eu apenas quiser ver a probabilidade ou ?

ϵ

$\epsilon$

p (λ_{2} > λ_{1})

$p(\lambda_2 \gt \lambda_1)$

p (λ_{2} \neq λ_{1})

$p(\lambda_2 \neq \lambda_1)$

Amelio Vazquez-Reina

Obrigado @ user777. Estou interessado no caso em que não temos acesso às amostras. Você teve uma integral em sua postagem anteriormente, mas parece que a excluiu. Como seria essa integral?

Amelio Vazquez-Reina