Existe uma interpretação bayesiana para REML?

Está disponível uma interpretação bayesiana de REML? Para minha intuição, REML tem uma forte semelhança com os chamados procedimentos empíricos de estimativa de Bayes , e me pergunto se algum tipo de equivalência assintótica (sob alguma classe adequada de priores, digamos) foi demonstrada. Tanto Bayes empírico como REML parecem abordagens de estimativa 'comprometidas' realizadas em face de parâmetros incômodos , por exemplo.

Principalmente, o que busco por essa pergunta é o insight de alto nível que esses tipos de argumentos tendem a produzir. Obviamente, se um argumento dessa natureza, por algum motivo, não puder ser útil para o REML, uma explicação de por que isso ocorre também fornecerá informações bem-vindas!

As interpretações bayesianas existem apenas dentro da estrutura da análise bayesiana, para estimadores que se relacionam com uma distribuição posterior. Portanto, a única maneira pela qual o estimador REML pode receber uma interpretação bayesiana (isto é, uma interpretação como um estimador extraído do posterior) é se considerarmos a probabilidade logarítmica restrita na análise REML como log-posterior em um correspondente Análise de Bayes; nesse caso, o estimador REML seria um estimador MAP da teoria bayesiana, com sua correspondente interpretação bayesiana.

---

Configurando o estimador REML para ser um estimador MAP: É relativamente simples ver como definir a probabilidade restrita de log na análise REML para ser o log-posterior em uma análise Bayes. Para fazer isso, exigimos que o log anterior seja negativo da parte da probabilidade de log removida pelo processo REML. Suponhamos que temos do Log-Likelihood onde ℓ RE ( θ ) é o log-probabilidade e residual $\ell_\mathbf{x}(\theta, \nu) = \ell_*(\theta, \nu) + \ell_{\text{RE}}(\theta)$$\ell_{\text{RE}}(\theta)$$\theta$é o parâmetro de interesse (com sendo nosso parâmetro de incômodo). Definir o anterior para π ( θ , ν ) ∝ exp ( - ℓ ∗ ( θ , ν ) ) fornece posterior correspondente:$\nu$$\pi(\theta, \nu) \propto \exp(-\ell_*(\theta, \nu))$

$$\begin{equation} \begin{aligned} \pi(\theta|\mathbf{x}) &\propto \int L_\mathbf{x}(\theta, \nu) \pi(\theta, \nu) d\nu \\[6pt] &\propto \int \exp(\ell_\mathbf{x}(\theta, \nu)) \exp(-\ell_*(\theta, \nu)) d\nu \\[6pt] &= \int \exp(\ell_\mathbf{x}(\theta, \nu) - \ell_*(\theta, \nu)) d\nu \\[6pt] &= \int \exp(\ell_*(\theta, \nu) + \ell_{\text{RE}}(\theta) - \ell_*(\theta, \nu)) d\nu \\[6pt] &= \int \exp(\ell_{\text{RE}}(\theta)) d\nu \\[6pt] &= \int L_{\text{RE}}(\theta) d\nu \\[6pt] &\propto L_{\text{RE}}(\theta). \\[6pt] \end{aligned} \end{equation}$$

Isso nos dá:

$$\hat{\theta}_\text{MAP} = \arg \max_\theta \pi(\theta|\mathbf{x}) = \arg \max_\theta L_{\text{RE}}(\theta) = \hat{\theta}_\text{REML}.$$

Esse resultado nos permite interpretar o estimador REML como um estimador MAP, de modo que a interpretação bayesiana apropriada do estimador REML é que é o estimador que maximiza a densidade posterior sob o anterior .

Tendo ilustrado o método para dar uma interpretação bayesiana ao estimador REML, observamos agora que existem alguns grandes problemas com essa abordagem. Um problema é que o anterior é formado utilizando o log-probabilidade componente , que depende dos dados. Portanto, o "prioritário" necessário para obter essa interpretação não é um prior real, no sentido de ser uma função que pode ser formada antes da visualização dos dados. Outro problema é que o prior frequentemente será inadequado (ou seja, ele não se integra a um) e pode realmente aumentar de peso à medida que os valores dos parâmetros se tornam extremos. (Vamos mostrar um exemplo disso abaixo.)$\ell_*(\theta, \nu)$

Com base nesses problemas, pode-se argumentar que não existe uma interpretação bayesiana razoável para o estimador REML. Alternativamente, pode-se argumentar que o estimador REML ainda mantém a interpretação bayesiana acima, sendo um estimador máximo a posteriori sob um "anterior" que deve coincidir coincidir com os dados observados na forma especificada e pode ser extremamente inadequado.

---

$x_1,...,x_n \sim \text{N}(\nu, 1/\theta)$$\theta$$\nu$

$$\ell_\mathbf{x}(\nu,\theta) = - \frac{n}{2} \ln \theta - \frac{\theta}{2} \sum_{i=1}^n (x_i-\nu)^2.$$

No REML, dividimos essa probabilidade de log nos dois componentes:

$$\begin{equation} \begin{aligned} \ell_*(\nu,\theta) &= - \frac{n}{2} \ln \theta - \frac{\theta}{2} \sum_{i=1}^n (x_i-\nu)^2 \\[10pt] \ell_\text{RE}(\theta) &= - \frac{n-1}{2} \ln \theta - \frac{\theta}{2} \sum_{i=1}^n (x_i-\bar{x})^2. \end{aligned} \end{equation}$$

We obtain the REML estimator for the precision parameter by maximising the residual likelihood, which gives an unbiased estimator for the variance:

$$\frac{1}{\hat{\theta}_\text{REML}} = \frac{1}{n-1} \sum_{i=1}^n (x_i-\bar{x})^2.$$

In this case, the REML estimator will correspond to a MAP estimator for the "prior" density:

$$\pi(\theta) \propto \theta^{n/2} \exp \Bigg( \frac{\theta}{2} \sum_{i=1}^n (x_i-\nu)^2 \Bigg).$$

As you can see, this "prior" actually depends on the observed data values, so it cannot actually be formed prior to seeing the data. Moreover, we can see that it is clearly an "improper" prior that puts more and more weight on extreme values of $\theta$ and $\nu$. (Actually, this prior is pretty bonkers.) If by "coincidence" you were to form a prior that happened to correspond to this outcome then the REML estimator would be a MAP estimator under that prior, and hence would have a Bayesian interpretation as the estimator that maximises the posterior under that prior.