Quando devo me preocupar com o paradoxo de Jeffreys-Lindley na escolha do modelo bayesiano?

12

Estou pensando em um espaço grande (mas finito) de modelos de complexidade variável, que exploro usando o RJMCMC . O anterior no vetor de parâmetro para cada modelo é bastante informativo.

  1. Em que casos (se houver) eu deveria estar preocupado com o paradoxo de Jeffreys-Lindley, favorecendo modelos mais simples, quando um dos modelos mais complexos seria mais adequado?

  2. Existem exemplos simples que destacam os problemas do paradoxo na escolha do modelo bayesiano?

Eu li alguns artigos, a saber, o blog de Xi'an e o de Andrew Gelman , mas ainda não entendi bem o problema.

Jeff
fonte
1
Eu acho que há muitas perguntas e elas são distintas demais para serem efetivamente respondidas aqui.
precisa saber é o seguinte
Obrigado pelo feedback, @jaradniemi, removi a pergunta "O procedimento RJMCMC, que efetivamente retorna probabilidades de modelos posteriores, favorece os mesmos modelos que o DIC faria?"
21415 Jeff

Respostas:

5

Desculpe por não estar claro no meu blog !

Nota: Forneci algumas informações sobre a escolha do modelo bayesiano e o paradoxo de Jeffreys-Lindley nesta outra resposta validada por Cross.

O paradoxo de Jeffreys-Lindley está relacionado à escolha do modelo bayesiano, em que a probabilidade marginal se torna sem sentido quando π é umamedida σ- definida (isto é, uma medida com massa infinita) em vez de uma medida de probabilidade. A razão para essa dificuldade é que a massa infinita torna π e c π indistinguíveis de qualquer constante positiva c

m(x)=π(θ)f(x|θ)dθ
πσπcπc . Em particular, o fator Bayes não pode ser usado e não deve ser usado quando um modelo possui um "plano" anterior.

O paradoxo original de Jeffreys-Lindley usa a distribuição normal como exemplo. Ao comparar os modelos e X ~ N ( θ , 1 ) o fator de Bayes, é B 12 = exp { - N ( ˉ x n ) 2 / 2 }

xN(0 0,1)
xN(θ,1)
é bem definido É quandoπé uma adequada antes, mas se você tomar um normal antesN(0,τ2)emθe deixeτir ao infinito, o denominador vai a zero para qualquer valor de ˉ x ndiferente de zero e qualquer valor den. (A menos queτenestejam relacionados, mas isso fica mais complicado!) Se, em vez disso, você usar diretamenteπ(θ)=condecé uma constante necessariamente arbitrária, o fatorB deBayes
B12=exp{-n(x¯n)2/2}-+exp{-n(x¯n-θ)2/2}π(θ)dθ
πN(0 0,τ2)θτx¯nnτn
π(θ)=c
cB12
B12=exp{-n(x¯n)2/2}c-+exp{-n(x¯n-θ)2/2}dθ=exp{-n(x¯n)2/2}c2π/n
portanto, diretamente dependente de c.

Agora, se seus antecedentes são informativos (e, portanto, adequados), não há razão para o paradoxo de Jeffreys-Lindley ocorrer. Com um número suficiente de observações, o fator Bayes selecionará consistentemente o modelo que gerou os dados. (Ou, mais precisamente, o modelo dentro da coleção de modelos considerados para escolha de modelo mais próximo do modelo "verdadeiro" que gerou os dados.)

Xi'an
fonte
2
Muito obrigado pela sua resposta muito detalhada, Xi'an! Seu blog é muito claro (aprendi muito com ele). Eu demorei um pouco para entender esse problema em particular!
11114 Jeff
Na verdade, meu blog opera com premissas altamente variáveis ​​sobre antecedentes e pré-requisitos, portanto, às vezes, não é claro para muitos leitores!
Xian