Fatores de Bayes com antecedentes impróprios

Eu tenho uma pergunta sobre a comparação de modelos usando fatores Bayes. Em muitos casos, os estatísticos estão interessados em usar uma abordagem bayesiana com anteriores impróprios (por exemplo, alguns anteriores de Jeffreys e anteriores de referência).

Minha pergunta é: nos casos em que a distribuição posterior dos parâmetros do modelo é bem definida, é válido comparar modelos usando fatores de Bayes sob o uso de anteriores impróprios?

Como um exemplo simples, considere comparar um modelo Normal vs. um modelo Logístico com os anteriores de Jeffreys.

bayesian model-selection prior Jeffrey
fonte

Um prior impróprio desempenha o papel de um "prior não informativo". Se você está em uma perspectiva de "sem crença prévia", obviamente não pode atribuir uma probabilidade anterior a um modelo. No entanto, existem alguns artigos de Berger e outros autores sobre uma noção de "fatores intrínsecos de Bayes"; isso soa como fator de Bayes com anteriores não informativos, mas não posso dizer mais nada porque nunca li esses artigos. Provavelmente também existem outros métodos de "seleção objetiva de modelos bayesianos" (digitar esses termos no Google produz vários artigos de Berger).

Stéphane Laurent

@ StéphaneLaurent A interpretação do prior nos parâmetros é diferente da da probabilidade anterior do modelo. Isso pode ser visto na expressão geral do fator Bayes. Você também pode atribuir anteriores uniformes aos modelos, impróprios antes dos parâmetros e ver o que os dados informam a posteriori .

9117 Jeffrey

Eu recomendo a leitura de Critérios para a escolha do modelo bayesiano com aplicação à seleção de variáveis (AoS, 2012), particularmente o Lema 1. Basicamente, antecedentes impróprios não podem ser usados para parâmetros não comuns.

Respostas:

Não. Embora os priores impróprios possam ser bons para a estimativa de parâmetros sob certas circunstâncias (devido ao teorema de Bernstein-von Mises ), eles são um grande não-não para comparação de modelos, devido ao que é conhecido como paradoxo da marginalização .

O problema, como o nome sugere, é que a distribuição marginal de uma distribuição imprópria não está bem definida. Dada uma probabilidade e uma anterior : o fator Bayes requer o cálculo da probabilidade marginal : $p_1(x \mid \theta)$ $p_1(\theta)$

p_{1 1} (x) = \int_{Θ} p_{1 1} (x ∣ θ) p_{1 1} (θ) d θ .

$p_1(x) = \int_\Theta p_1(x \mid \theta) p_1(\theta) d \theta .$

Se você pensa em um anterior impróprio como sendo conhecido apenas até a proporcionalidade (por exemplo, ), o problema é que será multiplicado por uma constante desconhecida. Em um fator Bayes, você calculará a proporção de algo com uma constante desconhecida. $p_1(\theta) \propto 1$ $p_1(x)$

Alguns autores, notadamente ET Jaynes, tentam contornar isso definindo prioros impróprios como o limite de uma sequência de prioros próprios: então o problema é que pode haver duas sequências limitantes diferentes que dão respostas diferentes.

Simon Byrne
fonte

Obrigado pela sua resposta. A questão sobre as constantes de proporcionalidade pode ser evitada usando o mesmo anterior impróprio em parâmetros comuns, como parâmetros de localização e escala, como mencionado em The Bayesian Choice, p. 349. Se bem entendi, o paradoxo da marginalização se aplica apenas aos anteriores com um certa estrutura.

9119 Jeffrey

O problema será que os casos irreais dominarão: se você tiver um uniforme anterior ao parâmetro de localização, estará colocando 100x o peso no intervalo [100.200], como faria em [0,1] (o que pode parecer ridículo em algumas circunstâncias).

Simon Byrne

Mas o importante é que os priores impróprios não podem ser interpretados em termos probabilísticos. Não existe tal peso, dado que a interpretação probabilística do prior se foi, uma vez que é imprópria.

Jeffrey

Não é probabilístico, mas ainda é uma medida, portanto você pode fazer comparações relativas (ou seja, há 100x a "massa" no intervalo [100,200] como em [0,1]).

Simon Byrne

π (μ, σ) \propto σ^{- 1}

$\pi(\mu,\sigma)\propto \sigma^{-1}$