Um prior vago é o mesmo que um prior não informativo?

Esta é uma pergunta sobre terminologia. Um "anterior vago" é o mesmo que um anterior não informativo ou existe alguma diferença entre os dois? Minha impressão é de que são iguais (de procurar vagas e não informativas juntas), mas não tenho certeza.

Gelman et al. (2003) dizem:

há muito tempo existe um desejo de distribuições anteriores que possam garantir um papel mínimo na distribuição posterior. Tais distribuições às vezes são chamadas de 'distribuições anteriores de referência' e a densidade anterior é descrita como vaga, plana ou não informativa . [Ênfase do texto original]

Com base na minha leitura da discussão do anterior de Jeffreys em Gelman et al. (2003, p.62ff), não há consenso sobre a existência de um prior verdadeiramente não informativo e que antecedentes suficientemente vagos / planos / difusos são suficientes.

Alguns dos pontos que eles fazem:

1. Qualquer prévia inclui informações, incluindo anteriores que afirmam que nenhuma informação é conhecida.
   • Por exemplo, se sabemos que nada sabemos sobre o parâmetro em questão, sabemos algo sobre ele.
2. Na maioria dos contextos aplicados, não há clara vantagem de um prior verdadeiramente não informativo quando os antecedentes suficientemente vagos são suficientes e, em muitos casos, existem vantagens - como encontrar um prior adequado - em usar uma vaga parametrização de um conjugado anterior.
3. O princípio de Jeffreys pode ser útil para construir anteriores que minimizem o conteúdo de informações de Fisher em modelos univariados, mas não há análogo para o caso multivariado
4. Ao comparar modelos, o prior de Jeffreys variará com a distribuição da probabilidade, portanto os anteriores também terão que mudar
5. geralmente tem havido muito debate sobre a existência de um prévio não informativo (por causa de 1, mas também ver discussões e referências na p.66 em Gelman et al. para a história desse debate).

note que este é um wiki da comunidade - A teoria subjacente está nos limites do meu entendimento e eu gostaria de receber contribuições para esta resposta.

Gelman et al. 2003 Análise de Dados Bayesiana, Chapman e Hall / CRC

Definitivamente não, embora sejam frequentemente usados ​​de forma intercambiável. Um anterior vago (relativamente desinformado, que realmente não favorece alguns valores sobre outros) em um parâmetro pode realmente induzir um anterior muito informativo sobre alguma outra transformação . Isso é pelo menos parte da motivação do prior de Jeffreys, que foi inicialmente construído para ser o mais informativo possível.f ( θ $\theta$$f(\theta)$

Priores vagas também podem fazer algumas coisas bastante infelizes para o seu modelo. O exemplo agora clássico está usando como nos componentes de variação em um modelo hierárquico.ε → $\mathrm{InverseGamma}(\epsilon, \epsilon)$$\epsilon\rightarrow 0$

O limite prévio inadequado fornece um posterior inadequado neste caso. Uma alternativa popular era considerar muito pequeno, o que resulta em uma prévia que parece quase uniforme em . Mas também resulta em uma parte posterior quase imprópria, e o encaixe e as inferências do modelo são afetados. Consulte Distribuições anteriores de Gelman para obter parâmetros de variação em modelos hierárquicos para obter uma exposição completa.R$\epsilon$$\mathbb{R}^+$

Edit: @csgillespie (com razão!) Indica que não respondi completamente à sua pergunta. Na minha opinião, um prior não informativo é vago no sentido de que não favorece particularmente uma área do espaço de parâmetro em detrimento de outra, mas, ao fazê-lo, não deve induzir priori informativo sobre outros parâmetros. Portanto, um prior não informativo é vago, mas um prior vago não é necessariamente não informativo. Um exemplo em que isso entra em jogo é a seleção de variáveis ​​bayesianas; um prévio "vago" nas probabilidades de inclusão de variáveis ​​pode realmente induzir um prévio bastante informativo sobre o número total de variáveis ​​incluídas no modelo!

Parece-me que a busca por priores verdadeiramente não informativos é quixotesca (embora muitos discordem); é melhor usar os chamados anteriores informativos "fracamente" (que, suponho, são geralmente vagos em algum sentido). Realmente, com que frequência não sabemos nada sobre o parâmetro em questão?

Lambert et al (2005) levantam a questão "How Vague is Vague? Um estudo de simulação do impacto do uso de distribuições anteriores vagas no MCMC usando o WinBUGS ". Eles escrevem: "Não defendemos o uso do termo distribuição prévia não informativa, pois consideramos que todos os anteriores contribuem com algumas informações". Costumo concordar, mas definitivamente não sou especialista em estatísticas bayesianas.

Suspeito que "anterior vago" seja usado para significar um prior que é conhecido por codificar uma quantidade pequena, mas diferente de zero de conhecimento sobre o verdadeiro valor de um parâmetro, enquanto um "anterior não informativo" seria usado para significar ignorância completa em relação ao valor desse parâmetro. Talvez fosse usado para mostrar que a análise não era completamente objetiva.

Por exemplo, um gaussiano muito amplo pode ser um anterior vago para um parâmetro em que um anterior não informativo seria uniforme. O gaussiano seria muito próximo da escala de interesse, mas, no entanto, favoreceria um valor específico um pouco mais do que qualquer outro (mas pode tornar o problema mais matematicamente tratável).

Priores não informativos têm formas diferentes. Essas formas incluem antecedentes vagos e anteriores inadequados. Tão vaga anterior faz parte de anteriores não informativos.