Por que a probabilidade máxima restrita produz uma estimativa melhor (imparcial) da variação?

Estou lendo o artigo da teoria de Doug Bates no pacote lme4 de R para entender melhor os detalhes dos modelos mistos e me deparei com um resultado intrigante que eu gostaria de entender melhor sobre o uso da máxima verossimilhança restrita (REML) para estimar a variação .

Na seção 3.3, no critério REML, ele afirma que o uso de REML na estimativa de variância está intimamente relacionado ao uso de uma correção de graus de liberdade ao estimar a variação de desvios residuais em um modelo linear ajustado. Em particular, "embora não seja geralmente derivado dessa maneira", os graus de correção da liberdade podem ser obtidos estimando-se a variação por meio da otimização de um "critério REML" (Eq. (28)). O critério REML é essencialmente apenas a probabilidade, mas os parâmetros de ajuste linear foram eliminados pela marginalização (em vez de defini-los iguais à estimativa de ajuste, o que daria uma variação da amostra enviesada).

Fiz as contas e verifiquei o resultado reivindicado para um modelo linear simples com apenas efeitos fixos. O que eu estou lutando é com a interpretação. Existe alguma perspectiva da qual é natural derivar uma estimativa de variação, otimizando uma probabilidade em que os parâmetros de ajuste foram marginalizados? Parece um tipo bayesiano, como se eu estivesse pensando na probabilidade como posterior e marginalizando os parâmetros de ajuste como se fossem variáveis ​​aleatórias.

Ou a justificativa é primariamente apenas matemática - funciona no caso linear, mas também é generalizável?

O viés na variância deriva do fato de que a média foi estimada a partir dos dados e, portanto, a 'disseminação desses dados em torno dessa média estimada' (ou seja, a variância) é menor que a disseminação dos dados em torno da média 'verdadeira' . Consulte também: Explicação intuitiva para dividir por ao calcular o desvio padrão?$n-1$

Os efeitos fixos determinam o modelo 'para a média'; portanto, se você puder encontrar uma estimativa de variação derivada sem estimar a média dos dados ('marginalizando os efeitos fixos (isto é, a média)'), essa subestimação de o spread (ou seja, variação) será atenuado.

Esse é o entendimento "intuitivo" por que as estimativas REML eliminam o viés; você encontra uma estimativa para a variação sem usar a 'média estimada'.

Confira o APÊNDICE: O MÉTODO REMO ESTIMATION dentro deste recurso relacionado ao SAS do autor David Dickey.

" Sempre podemos encontrar (n-1) números Z com média conhecida 0 e a mesma soma de quadrados e variação teórica que os valores de n Y. Isso motiva a divisão da soma de quadrados Z pelo número de Zs, que é n -1 "

Quando eu estava na pós-graduação, REML era a melhor coisa desde pão fatiado. Ao estudar o pacote lme4 , aprendi que ele não generaliza muito bem e talvez não seja tão importante no grande esquema das coisas.