Uma probabilidade prévia e exponenciada adequada pode levar a um posterior inadequado?

11

(Esta pergunta é inspirada neste comentário de Xi'an .)

É sabido que, se a distribuição anterior for adequada e a probabilidade for bem definida, a distribuição posterior é apropriado quase certamente.π(θ)L(θ|x)π(θ|x)π(θ)L(θ|x)

Em alguns casos, usamos uma probabilidade moderada ou exponenciada, levando a uma pseudo-posterior

π~(θ|x)π(θ)L(θ|x)α
α>0 para alguns (por exemplo, isso pode ter vantagens computacionais).α>0

Nesse cenário, é possível ter um pseudo-posterior adequado anterior, mas inadequado?

Robin Ryder
fonte
2
Na verdade, alguns minutos depois, eu consideraria improvável, uma vez que a divergência do produto x verossimilhança anterior é reduzida quando se considera o produto x verossimilhança anterior ^ α ... Qualquer andorinha-do-mar que vai ao infinito vai mais devagar! E termos que vão a zero mais lentamente são controlados pelo prior apropriado. Minha aposta é assim que isso é impossível. (Aviso: Eu tenho sido conhecido por ser errado!)
Xi'an
1
Possivelmente útil na busca de um contra-exemplo quando : a desigualdade de Markov nos diz que Portanto, se você puder encontrar um caso em que tenha caudas polinomiais, poderá construir um pseudo-posterior inadequado. α>1
Eθπ[L(x|θ)α]tαPθπ(L(x|θ)>t)Eθπ[L(x|θ)α]supt>0tαPθπ(L(x|θ)>t)
L(x|θ)
πr8
Esse argumento também funcionaria para ? Além disso, existe uma maneira de provar que uma probabilidade construída dessa maneira seria adequada? α<1
InfProbSciX 14/10
1
Na verdade, para , uma vez que sabemos que , o supremo no RHS é sempre finito e, para , usa-se seu argumento Jensen para fazer a mesma dedução. Portanto, o argumento falha nesse sentido. Uma pequena observação de que esse argumento requer uma probabilidade ilimitada de para ter sucesso, ou seja, para todos os . α=1Eπ[L(x|θ)]<α<1LPπ(L(x|θ)>t)>0t
πr8
1
Verdade, para , você não pode construir um, bom ponto! Devo dizer que ficaria fascinado em ver um exemplo de uma probabilidade ilimitada! Talvez um beta posterior seja o resultado de uma probabilidade ilimitada. α=1
InfProbSciX

Respostas:

7

Para , talvez este seja um argumento para mostrar que é impossível construir uma posterior?α1

Gostaríamos de descobrir se é possível para .π~(θ|x)dθ=

No RHS:

π(θ)Lα(θ|x)dθ=Eθ(Lα(θ|x))

Se , é uma função côncava, então pela desigualdade de Jensen:α1xα

Eθ(Lα(θ|x))Eθα(L(θ|x))=m(x)α<

... onde como Xi'an apontou, é a constante de normalização (a evidência).m(x)

InfProbSciX
fonte
Legal, obrigado. Gosto que você esteja usando o fato de que para o posterior é adequado. α=1
Robin Ryder
1

É possível usar o resultado na resposta do @ InfProbSciX para provar o resultado em geral. Reescreva como Se , temos o caso de desigualdade de Jensen acima, pois sabemos que é normalizável. Da mesma forma, se , podemos escrever com , novamente caindo no mesmo caso, pois sabemos que é normalizável. Agora pode-se usar indução (forte) para mostrar o caso em geral.L(θx)απ(θ)

L(θx)α1L(θx)π(θ).
1α2L(x|θ)π(θ)2α3
L(x|θ)αpL(x|θ)pπ(θ),
1p2L(x|θ)pπ(θ)

Comentários antigos

Não tenho certeza se isso é super útil, mas como não posso comentar, deixarei isso em uma resposta. Além da excelente observação de @ InfProbSciX sobre , se alguém fizer uma suposição adicional de que , é impossível ter um pseudo-posterior adequado anterior, mas inadequado. para . Por exemplo, se sabemos que o segundo momento ( ésimo) de existe, sabemos que está em ( ) e, portanto, o pseudo-posterior será apropriado para . Seção 1 nestas notasα1L(θx)Lp1<αppL(θx)L2Lp0α2entra em um pouco mais detalhadamente, mas infelizmente não está claro quão ampla é a classe de, digamos, pdfs. Peço desculpas se estou falando fora de hora aqui, realmente queria deixar isso como um comentário.L10

Luiz Max Carvalho
fonte
1
Você está certo, se a função de probabilidade está dentro do espaço - ou seja, o espaço a medida induzida pelo anterior, então o posterior será apropriado para . Estou totalmente adivinhando aqui, mas acho que o espaço abrangeria a maior parte das probabilidades em que podemos pensar - acho que eu poderia ter lido uma prova há séculos que diz que se é Riemann integrável, então seus poderes positivos também são. é integrável. Teorema 1.26 para referênciaL p ( π θ ) L p 1 α p f f n , n Z +L(θ|x)Lp(πθ)Lp1αpffn,nZ+
InfProbSciX 09/10
@InfProbSciX, acho que pode haver uma prova completa à espreita nas sombras aqui. Tomo da sua resposta que pode ser negativo. Se isso estiver correto, podemos mostrar que, para qualquer a pseudo-probabilidade será integrável porque recíprocos de funções integráveis ​​são integráveis. E se a probabilidade for integrável, eu argumento que o posterior será integrável porque o prior é limitado e o produto de uma função integrável e limitada é integrável ( math.stackexchange.com/a/56008/271610 ). Diz-me o que pensas. p > 1αp>1
Luiz Max Carvalho
1
Eu acho que você pode desconsiderar o caso em que , como a pergunta assume explicitamente o contrário. A integrabilidade de para qualquer caso geral precisa ser mostrada. Além disso, não tenho certeza se o prior está sempre limitado, por exemplo, a densidade de um não seria. L α B e t a ( 0,5 , 0,5 )α<0LαBeta(0.5,0.5)
InfProbSciX
@InfProbSciX, o que eu quis dizer foi que, mesmo que não esteja em questão, se sua prova também for válida para essa condição, poderíamos mostrar integrabilidade para aproveitando o fato de que se é integrável, então é . Como você diz, tudo isso é nulo se o prior for ilimitado. Em vez disso, podemos tentar limitar a probabilidade e parece-me que qualquer probabilidade que alguém usaria no MLE teria que ser delimitada ou fortemente côncava ( en.wikipedia.org/wiki/Maximum_likelihood_estimation#Properties ), ambas as quais podem ser usadas para construir uma prova geral. Alguma ideia? α > 1 f 1 / fα<0α>1f1/f
Luiz Max Carvalho
Desculpe, eu perdi isso, sim, parece que seria uma tentativa interessante!
InfProbSciX 23/10