Existe uma interpretação bayesiana para REML?

14

Está disponível uma interpretação bayesiana de REML? Para minha intuição, REML tem uma forte semelhança com os chamados procedimentos empíricos de estimativa de Bayes , e me pergunto se algum tipo de equivalência assintótica (sob alguma classe adequada de priores, digamos) foi demonstrada. Tanto Bayes empírico como REML parecem abordagens de estimativa 'comprometidas' realizadas em face de parâmetros incômodos , por exemplo.

Principalmente, o que busco por essa pergunta é o insight de alto nível que esses tipos de argumentos tendem a produzir. Obviamente, se um argumento dessa natureza, por algum motivo, não puder ser útil para o REML, uma explicação de por que isso ocorre também fornecerá informações bem-vindas!

David C. Norris
fonte
Este artigo parece ser relevante: Foulley J. (1993). Um argumento simples que mostra como obter uma probabilidade máxima restrita. J. Dairy Sci. 76, 2320-2324. 10.3168 / jds.S0022-0302 (93) 77569-4 sciencedirect.com/science/article/pii/…
djw

Respostas:

5

As interpretações bayesianas existem apenas dentro da estrutura da análise bayesiana, para estimadores que se relacionam com uma distribuição posterior. Portanto, a única maneira pela qual o estimador REML pode receber uma interpretação bayesiana (isto é, uma interpretação como um estimador extraído do posterior) é se considerarmos a probabilidade logarítmica restrita na análise REML como log-posterior em um correspondente Análise de Bayes; nesse caso, o estimador REML seria um estimador MAP da teoria bayesiana, com sua correspondente interpretação bayesiana.


Configurando o estimador REML para ser um estimador MAP: É relativamente simples ver como definir a probabilidade restrita de log na análise REML para ser o log-posterior em uma análise Bayes. Para fazer isso, exigimos que o log anterior seja negativo da parte da probabilidade de log removida pelo processo REML. Suponhamos que temos do Log-Likelihood onde RE ( θ ) é o log-probabilidade e residual θx(θ,ν)=(θ,ν)+RE(θ)RE(θ)θé o parâmetro de interesse (com sendo nosso parâmetro de incômodo). Definir o anterior para π ( θ , ν ) exp ( - ( θ , ν ) ) fornece posterior correspondente:νπ(θ,ν)exp((θ,ν))

π(θ|x)eux(θ,ν)π(θ,ν)dνexp(x(θ,ν))exp(-(θ,ν))dν=exp(x(θ,ν)-(θ,ν))dν=exp((θ,ν)+(θ)-(θ,ν))dν=exp((θ))dν=eu(θ)dνeu(θ).

Isso nos dá:

θ^MAPA=argmaxθπ(θ|x)=argmaxθeu(θ)=θ^REML.

Esse resultado nos permite interpretar o estimador REML como um estimador MAP, de modo que a interpretação bayesiana apropriada do estimador REML é que é o estimador que maximiza a densidade posterior sob o anterior .

Tendo ilustrado o método para dar uma interpretação bayesiana ao estimador REML, observamos agora que existem alguns grandes problemas com essa abordagem. Um problema é que o anterior é formado utilizando o log-probabilidade componente , que depende dos dados. Portanto, o "prioritário" necessário para obter essa interpretação não é um prior real, no sentido de ser uma função que pode ser formada antes da visualização dos dados. Outro problema é que o prior frequentemente será inadequado (ou seja, ele não se integra a um) e pode realmente aumentar de peso à medida que os valores dos parâmetros se tornam extremos. (Vamos mostrar um exemplo disso abaixo.)(θ,ν)

Com base nesses problemas, pode-se argumentar que não existe uma interpretação bayesiana razoável para o estimador REML. Alternativamente, pode-se argumentar que o estimador REML ainda mantém a interpretação bayesiana acima, sendo um estimador máximo a posteriori sob um "anterior" que deve coincidir coincidir com os dados observados na forma especificada e pode ser extremamente inadequado.


x1,...,xnN(ν,1/θ)θν

x(ν,θ)=-n2emθ-θ2Eu=1n(xEu-ν)2.

No REML, dividimos essa probabilidade de log nos dois componentes:

(ν,θ)=n2lnθθ2i=1n(xiν)2RE(θ)=n12lnθθ2i=1n(xix¯)2.

We obtain the REML estimator for the precision parameter by maximising the residual likelihood, which gives an unbiased estimator for the variance:

1θ^REML=1n1i=1n(xix¯)2.

In this case, the REML estimator will correspond to a MAP estimator for the "prior" density:

π(θ)θn/2exp(θ2i=1n(xiν)2).

As you can see, this "prior" actually depends on the observed data values, so it cannot actually be formed prior to seeing the data. Moreover, we can see that it is clearly an "improper" prior that puts more and more weight on extreme values of θ and ν. (Actually, this prior is pretty bonkers.) If by "coincidence" you were to form a prior that happened to correspond to this outcome then the REML estimator would be a MAP estimator under that prior, and hence would have a Bayesian interpretation as the estimator that maximises the posterior under that prior.

Reinstate Monica
fonte
3
What an immensely clear answer! I feel I understand REML much better as a result, which to a large extent was my principal aim. Your approach in opening your argument seems to have been essentially to make the identification, then 'solve for' the prior. Then you proceed to demolish that prior, which looks to me like a criticism (from Bayesian perspective) directed against REML. Beautifully done!
David C. Norris
3
Yes, that is the method I used. By analogy, we usually give the MLE a Bayesian interpretation by the same method ---i.e., by figuring out that the MLE is the MAP under a uniform prior. So in general, when we want to find the Bayesian analogue to a classical estimator that is formed by maximisation of some function, we just set that function to the posterior and then solve for the prior. If this gives a sensible prior then we have a good Bayesian interpretation; if the prior is crazy (like with REML) then we have a good argument that there is no good Bayesian interpretation.
Reinstate Monica