Uma probabilidade prévia e exponenciada adequada pode levar a um posterior inadequado?

(Esta pergunta é inspirada neste comentário de Xi'an .)

É sabido que, se a distribuição anterior for adequada e a probabilidade for bem definida, a distribuição posterior é apropriado quase certamente. $\pi(\theta)$ $L(\theta | x)$ $\pi(\theta|x)\propto \pi(\theta) L(\theta|x)$

Em alguns casos, usamos uma probabilidade moderada ou exponenciada, levando a uma pseudo-posterior

\tilde{π} (θ | x) \propto π (θ) L (θ | x)^{α}

$\tilde\pi(\theta|x)\propto \pi(\theta) L(\theta|x)^\alpha$

para alguns (por exemplo, isso pode ter vantagens computacionais).

α > 0

$\alpha>0$

Nesse cenário, é possível ter um pseudo-posterior adequado anterior, mas inadequado?

bayesian prior posterior Robin Ryder
fonte

Na verdade, alguns minutos depois, eu consideraria improvável, uma vez que a divergência do produto x verossimilhança anterior é reduzida quando se considera o produto x verossimilhança anterior ^ α ... Qualquer andorinha-do-mar que vai ao infinito vai mais devagar! E termos que vão a zero mais lentamente são controlados pelo prior apropriado. Minha aposta é assim que isso é impossível. (Aviso: Eu tenho sido conhecido por ser errado!)

Xi'an

Possivelmente útil na busca de um contra-exemplo quando : a desigualdade de Markov nos diz que Portanto, se você puder encontrar um caso em que tenha caudas polinomiais, poderá construir um pseudo-posterior inadequado.

α > 1

$\alpha > 1$

E_{θ \sim π} [L (x | θ)^{α}] ⩾ t^{α} P_{θ \sim π} (L (x | θ) > t) ⟹ E_{θ \sim π} [L (x | θ)^{α}] ⩾ sup_{t > 0} t^{α} P_{θ \sim π} (L (x | θ) > t)

$\mathbf{E}_{\theta \sim \pi} \left[ L(x| \theta)^\alpha \right] \geqslant t^\alpha \mathbf{P}_{\theta \sim \pi} (L(x| \theta) > t) \\ \implies \mathbf{E}_{\theta \sim \pi} \left[ L(x| \theta)^\alpha \right] \geqslant \sup_{t > 0} t^\alpha \mathbf{P}_{\theta \sim \pi} (L(x| \theta) > t)$

L (x | θ)

$L(x| \theta)$

πr8

Esse argumento também funcionaria para ? Além disso, existe uma maneira de provar que uma probabilidade construída dessa maneira seria adequada?

α < 1

$\alpha < 1$

InfProbSciX 14/10

Na verdade, para , uma vez que sabemos que , o supremo no RHS é sempre finito e, para , usa-se seu argumento Jensen para fazer a mesma dedução. Portanto, o argumento falha nesse sentido. Uma pequena observação de que esse argumento requer uma probabilidade ilimitada de para ter sucesso, ou seja, para todos os .

α = 1

$\alpha =1$

E_{π} [L (x | θ)] < \infty

$\mathbf{E}_{\pi} [L (x | \theta)] < \infty$

α < 1

$\alpha < 1$

L

$L$

P_{π} (L (x | θ) > t) > 0

$\mathbf{P}_\pi (L (x | \theta) > t) > 0$

t

$t$

πr8

Verdade, para , você não pode construir um, bom ponto! Devo dizer que ficaria fascinado em ver um exemplo de uma probabilidade ilimitada! Talvez um beta posterior seja o resultado de uma probabilidade ilimitada.

α = 1

$\alpha = 1$

InfProbSciX

Respostas:

Para , talvez este seja um argumento para mostrar que é impossível construir uma posterior? $\alpha \leq 1$

Gostaríamos de descobrir se é possível para . $\int \tilde \pi(\theta|x)d\theta = \infty$

No RHS:

\int π (θ) L^{α} (θ | x) d θ = E_{θ} (L^{α} (θ | x))

$\int \pi(\theta) L^{\alpha}(\theta|x) d\theta = E_{\theta}(L^{\alpha}(\theta|x))$

Se , é uma função côncava, então pela desigualdade de Jensen: $\alpha \leq 1$ $x^{\alpha}$

E_{θ} (L^{α} (θ | x)) \leq E_{θ}^{α} (L (θ | x)) = m (x)^{α} < \infty

$E_{\theta}(L^{\alpha}(\theta|x)) \leq E^{\alpha}_{\theta}(L(\theta|x)) = m(x)^\alpha < \infty$

... onde como Xi'an apontou, é a constante de normalização (a evidência). $m(x)$

InfProbSciX
fonte

Legal, obrigado. Gosto que você esteja usando o fato de que para o posterior é adequado.

α = 1

$\alpha=1$

Robin Ryder

É possível usar o resultado na resposta do @ InfProbSciX para provar o resultado em geral. Reescreva como Se , temos o caso de desigualdade de Jensen acima, pois sabemos que é normalizável. Da mesma forma, se , podemos escrever com , novamente caindo no mesmo caso, pois sabemos que é normalizável. Agora pode-se usar indução (forte) para mostrar o caso em geral. $L(\theta\mid x)^\alpha\pi(\theta)$

L (θ ∣ x)^{α - 1} L (θ ∣ x) π (θ) .

$L(\theta\mid x)^{\alpha-1}L(\theta\mid x)\pi(\theta).$

1 \leq α \leq 2

$1 \leq \alpha \leq 2$

L (x | θ) π (θ)

$L(x|\theta)\pi(\theta)$

2 \leq α \leq 3

$2 \leq \alpha \leq 3$

L (x | θ)^{α - p} L (x | θ)^{p} π (θ),

$L(x|\theta)^{\alpha-p} L(x|\theta)^p\pi(\theta),$

1 \leq p \leq 2

$1 \leq p \leq 2$

L (x | θ)^{p} π (θ)

$L(x|\theta)^{p}\pi(\theta)$

Comentários antigos

Não tenho certeza se isso é super útil, mas como não posso comentar, deixarei isso em uma resposta. Além da excelente observação de @ InfProbSciX sobre , se alguém fizer uma suposição adicional de que , é impossível ter um pseudo-posterior adequado anterior, mas inadequado. para . Por exemplo, se sabemos que o segundo momento ( ésimo) de existe, sabemos que está em ( ) e, portanto, o pseudo-posterior será apropriado para . Seção 1 nestas notas $\alpha \leq 1$ $L(\theta \mid x) \in L^p$ $1 < \alpha \leq p$ $p$ $L(\theta \mid x)$ $L^2$ $L^p$ $0 \leq \alpha \leq 2$ entra em um pouco mais detalhadamente, mas infelizmente não está claro quão ampla é a classe de, digamos, pdfs. Peço desculpas se estou falando fora de hora aqui, realmente queria deixar isso como um comentário. $L^{10}$

Luiz Max Carvalho
fonte

Você está certo, se a função de probabilidade está dentro do espaço - ou seja, o espaço a medida induzida pelo anterior, então o posterior será apropriado para . Estou totalmente adivinhando aqui, mas acho que o espaço abrangeria a maior parte das probabilidades em que podemos pensar - acho que eu poderia ter lido uma prova há séculos que diz que se é Riemann integrável, então seus poderes positivos também são. é integrável. Teorema 1.26 para referência

L (θ | x)

$L(\theta|x)$

L^{p} (π_{θ})

$L^p(\bf {\pi_\theta})$

L^{p}

$L^p$

1 \leq α \leq p

$1 \leq \alpha \leq p$

f

$f$

f^{n}, n \in Z^{+}

$f^n, n \in \mathbb Z^+$

InfProbSciX 09/10

@InfProbSciX, acho que pode haver uma prova completa à espreita nas sombras aqui. Tomo da sua resposta que pode ser negativo. Se isso estiver correto, podemos mostrar que, para qualquer a pseudo-probabilidade será integrável porque recíprocos de funções integráveis são integráveis. E se a probabilidade for integrável, eu argumento que o posterior será integrável porque o prior é limitado e o produto de uma função integrável e limitada é integrável ( math.stackexchange.com/a/56008/271610 ). Diz-me o que pensas.

α

$\alpha$

p > 1

$p > 1$

Luiz Max Carvalho

Eu acho que você pode desconsiderar o caso em que , como a pergunta assume explicitamente o contrário. A integrabilidade de para qualquer caso geral precisa ser mostrada. Além disso, não tenho certeza se o prior está sempre limitado, por exemplo, a densidade de um não seria.

α < 0

$\alpha < 0$

L^{α}

$L^{\alpha}$

B e t a (0.5, 0.5)

$Beta(0.5, 0.5)$

InfProbSciX

@InfProbSciX, o que eu quis dizer foi que, mesmo que não esteja em questão, se sua prova também for válida para essa condição, poderíamos mostrar integrabilidade para aproveitando o fato de que se é integrável, então é . Como você diz, tudo isso é nulo se o prior for ilimitado. Em vez disso, podemos tentar limitar a probabilidade e parece-me que qualquer probabilidade que alguém usaria no MLE teria que ser delimitada ou fortemente côncava ( en.wikipedia.org/wiki/Maximum_likelihood_estimation#Properties ), ambas as quais podem ser usadas para construir uma prova geral. Alguma ideia?

α < 0

$\alpha < 0$

α > 1

$\alpha > 1$

f

$f$

1 / f

$1/f$

Luiz Max Carvalho

Desculpe, eu perdi isso, sim, parece que seria uma tentativa interessante!

InfProbSciX 23/10