Por que o fator de normalização é necessário no teorema de Bayes?

20

O teorema de Bayes vai

P(modelo|dados)=P(modelo)×P(dados|modelo)P(dados)

Está tudo bem. Mas eu li em algum lugar:

Basicamente, P (dados) nada mais é do que uma constante normalizadora, ou seja, uma constante que faz com que a densidade posterior se integre a uma.

Sabemos que e . 0 P ( dados | modelo ) 10 0P(modelo)10 0P(dados|modelo)1

Portanto, deve estar entre 0 e 1. Nesse caso, por que precisamos de uma constante de normalização para integrar o posterior a um?P(modelo)×P(dados|modelo)

Sreejith Ramakrishnan
fonte
4
Quando você está trabalhando com densidades de probabilidade , conforme mencionado neste post, não pode mais concluir 0 <= P(model) <= 1nem 0 <= P(data/model) <= 1porque um deles (ou ambos!) Pode exceder (e até ser infinito). Consulte stats.stackexchange.com/questions/4220 . 1
whuber
1
Não é o caso de porque essa notação vaga representa a probabilidade integrada dos dados, não uma probabilidade.
P(dados|modelo)1
Xian

Respostas:

15

Primeiro , a integral da "probabilidade x anterior" não é necessariamente 1 .

Não é verdade que se:

0 P ( dados | modelo ) 10 0P(modelo)1 e0 0P(dados|modelo)1

então a integral deste produto em relação ao modelo (para os parâmetros do modelo, de fato) é 1.

Demonstração. Imagine duas densidades distintas:

P(modelo)=[0,5,0,5] (isso é chamado de "anterior")P(dados modelo)=[0,80,0,2] (isso é chamado de "probabilidade")

Se você multiplicar os dois, obtém: que não é uma densidade válida, pois não se integra a um: 0,40 + 0,25 = 0,65

[0,40,0,25]
0,40+0,25=0,65

Então, o que devemos fazer para forçar a integral a ser 1? Use o fator de normalização, que é:

model_paramsP(modelo)P(dados modelo)=model_paramsP(modelo, dados)=P(dados)=0,65

(desculpe pela má notação. Escrevi três expressões diferentes para a mesma coisa, já que você pode vê-las todas na literatura)

Segundo , a "probabilidade" pode ser qualquer coisa e, mesmo que seja uma densidade, pode ter valores maiores que 1 .

Como o @whuber disse, esses fatores não precisam estar entre 0 e 1. Eles precisam que sua integral (ou soma) seja 1.

Terceiro [extra], "conjugados" são seus amigos para ajudá-lo a encontrar a constante de normalização .

Você verá frequentemente: porque o denominador ausente pode ser facilmente obter integrando este produto. Observe que essa integração terá um resultado bem conhecido se o anterior e a probabilidade forem conjugados .

P(modelo|dados)P(dados|modelo)P(modelo)
Alberto
fonte
+1. Esta é a única resposta que realmente aborda a questão original de por que a constante de normalização é necessária para integrar o posterior a um . O que você faz com o posterior mais tarde (por exemplo, inferência do MCMC ou cálculo de probabilidades absolutas) é uma questão diferente.
Pedro Mediano
P(modeeu)=[0,5,0,5]σ2=1μP(μ)=[0,5,0,5]
μ
12

A resposta curta para sua pergunta é que, sem o denominador, a expressão do lado direito é apenas uma probabilidade , não uma probabilidade , que só pode variar de 0 a 1. A "constante de normalização" permite obter a probabilidade de a ocorrência de um evento, e não apenas a probabilidade relativa desse evento em comparação com outro.

heropup
fonte
8

Você já tem duas respostas válidas, mas deixe-me adicionar meus dois centavos.

O teorema de Bayes é frequentemente definido como:

P(modelo | dados)P(modelo)×P(dados | modelo)

porque a única razão pela qual você precisa da constante é para que ela se integre a 1 (veja as respostas de outras pessoas). Isso não é necessário na maioria das abordagens de simulação MCMC para análise bayesiana e, portanto, a constante é eliminada da equação. Portanto, para a maioria das simulações, isso nem é necessário.

Eu amo a descrição por Kruschke : o último filhote de cachorro (constante) está com sono, porque ele não tem nada para fazer na fórmula.

insira a descrição da imagem aqui

Além disso, alguns, como Andrew Gelman, consideram a constante como "superestimada" e "basicamente sem sentido quando as pessoas usam planos anteriores" (consulte a discussão aqui ).

Tim
fonte
9
+1 à introdução de filhotes. "Nenhum animal foi prejudicado na escrita de esta resposta" :)
alberto