Ter um conjugado anterior: Propriedade profunda ou acidente matemático?

Algumas distribuições têm anteriores conjugados e outras não. Essa distinção é apenas um acidente? Ou seja, você faz as contas e funciona de uma maneira ou de outra, mas na verdade não diz nada de importante sobre a distribuição, exceto o fato em si?

Ou a presença ou ausência de um conjugado anterior reflete alguma propriedade mais profunda de uma distribuição? As distribuições com anteriores conjugados compartilham outras propriedades ou propriedades interessantes que faltam a outras distribuições que fazem com que essas distribuições, e não as outras, tenham um conjugado anterior?

bayesian mathematical-statistics conjugate-prior andrewH
fonte

Bem, você deve saber que qualquer distribuição que possa ser escrita como um membro da família exponencial regular deve ter um conjugado anterior.

Conhecemos alguma classe interessante de distribuições que definitivamente demonstrou não possuir anteriores conjugados? Conheço muito poucas distribuições com 3 ou mais parâmetros que conhecem CPs, mas não tenho certeza se sabemos que elas não existem ou apenas sabemos que não as encontramos.

andrewH

Interessante. Pode ser visto como uma propriedade do operador que transporta o anterior para o posterior, na mesma família paramétrica. Mais interessante, talvez, poderia ser visto como uma propriedade de fechamento do trigêmeo (distribuição anterior, distribuição de amostras, operador de atualização Bayes).

21913 JohnRos

@JohnRos. Eu gosto do jeito que você pensa.

precisa saber é o seguinte

Com relação à sua declaração de abertura, apenas tome cuidado com o caso trivial de anteriores que colocam toda a massa em um único valor do espaço do parâmetro (não é realmente útil para fazer inferência, não é?). O Teorema de Bayes mostra que estes são antecedentes conjugados para cada modelo. Obviamente, eles representam o conhecimento prévio de alguém com "idéias fixas".

Zen

Respostas:

Não é por acaso. Aqui você encontrará uma breve resenha muito boa sobre os anteriores conjugados. Concretamente, ele menciona que, se existir um conjunto de estatísticas suficientes da dimensão fixada para a função de probabilidade fornecida, você poderá construir um conjugado antes. Ter um conjunto de estatísticas suficientes significa que você pode fatorar a probabilidade de uma forma que permita estimar os parâmetros de uma maneira computacional eficiente.

Além disso, ter antecedentes conjugados não é apenas computacionalmente conveniente. Ele também fornece suavização e permite trabalhar com muito poucas amostras ou sem amostras anteriores, o que é necessário para problemas como tomada de decisão, nos casos em que você tem muito pouca evidência.

jpmuc
fonte

Sou muito novo nas estatísticas bayesianas, mas parece-me que todas essas distribuições (e se não todas , pelo menos aquelas que são úteis) compartilham a propriedade descrita por alguma métrica limitada sobre as observações que as definem. . Ou seja, para uma distribuição normal, você não precisa conhecer todos os detalhes de cada observação, apenas sua contagem e soma total.

Dito de outra forma, supondo que você já conheça a classe / família de distribuição, a distribuição terá entropia estritamente menor de informações do que as observações que resultaram nela.

Parece trivial ou é o que você está procurando?

Fabio Beltramini
fonte

Quais propriedades são "profundas" é uma questão muito subjetiva! então a resposta depende do seu conceito de "profundo". Mas, se ter antecedentes conjugados é uma propriedade "profunda", em certo sentido, esse sentido é matemático e não estatístico. A única razão pela qual (alguns) estatísticos estão interessados em conjugados anteriores é que eles simplificam alguns cálculos. Mas isso é menos importante para cada dia que passa!

 EDIT

$h$ $[0,1]$ $f(p;\alpha,\beta)$ $h(p)f(p;\alpha,\beta)$

E {E (θ ∣ X = x)} = uma x + b

$\DeclareMathOperator{\E}{\mathbb{E}} \E \left\{ \E (\theta \mid X=x)\right\} = ax+b$

a, b

$a,b$

$\text{prior}\times\text{likelihood}$ interpretações de dados anteriores aos parâmetros nas famílias conjugadas (usuais) listadas.

Assim, resumindo, as famílias conjugadas usuais em famílias exponenciais podem ser justificadas como anteriores que levam a métodos lineares ou como anteriores que representam dados anteriores. Espero que esta resposta estendida ajude!

kjetil b halvorsen
fonte

Este é realmente um comentário, não uma resposta, @kjetil. Deve ser elaborado em uma resposta ou convertido em um comentário.

gung - Restabelece Monica

@gung Estou relutante em converter esta resposta em um comentário porque parece que ela pode ser interpretada como uma resposta: afirma que a existência de um conjugado anterior é de pouca importância, além da simplificação dos cálculos. (Eu acredito que pode haver razões para contestar a validade dessa afirmação, mas sendo incorreta não é o mesmo que não responder!)

whuber

@ whuber: que razões além da simplicidade computacional você pensa? Vou tentar expandir a anserv ...

b Kjetil Halvorsen

Porque uma formulação matemática explícita de um relacionamento é algo que pode ser analisado e compreendido, enquanto um mero resultado computacional é exatamente isso - um resultado, normalmente não oferecendo uma visão generalizável. É como a diferença entre ter um mapa de um país com o qual você pode estudar e aprender, comparado a ter um dispositivo GPS somente de voz que dará instruções de direção. Ambos o levarão de um ponto a outro, mas o primeiro dirá muito mais sobre o espaço pelo qual você está dirigindo.

whuber