Intuição sobre estimativa de parâmetros em modelos mistos (parâmetros de variação vs. modos condicionais)

15

Li várias vezes que efeitos aleatórios (BLUPs / modos condicionais para, digamos, sujeitos) não são parâmetros de um modelo linear de efeitos mistos, mas podem ser derivados dos parâmetros estimados de variância / covariância. Por exemplo, Reinhold Kliegl et al. (2011) afirmam:

Efeitos aleatórios são os desvios dos indivíduos em relação à TR média grande e os desvios dos indivíduos em relação aos parâmetros de efeito fixo. Eles são assumidos como independentes e normalmente distribuídos com uma média de 0. É importante reconhecer que esses efeitos aleatórios não são parâmetros do LMM - apenas suas variações e covariâncias. [...] Os parâmetros LMM em combinação com os dados dos sujeitos podem ser usados ​​para gerar "previsões" (modos condicionais) de efeitos aleatórios para cada sujeito.

Alguém pode dar uma explicação intuitiva de como os parâmetros de (co) variância dos efeitos aleatórios podem ser estimados sem realmente usar / estimar os efeitos aleatórios?

statmerkur
fonte

Respostas:

6

Considere um modelo misto linear simples, por exemplo, um modelo de interceptação aleatória em que estimamos a dependência de em x em diferentes sujeitos e suponhamos que cada sujeito tenha sua própria interceptação aleatória: y = a + b x + c i + ϵ . Aqui interceptayx

y=a+bx+ci+ϵ.
são modelados como proveniente de uma distribuição de Gauss c i ~ N ( 0 , τ 2 ) e o ruído aleatório é também gaussiana ε ~ N ( 0 , σ 2ci
ciN(0,τ2)
Nasintaxe, este modelo seria escrito como.
ϵN(0,σ2).
lme4y ~ x + (1|subject)

É instrutivo reescrever o acima descrito da seguinte maneira:

ycN(a+bx+c,σ2)cN(0,τ2)

Essa é uma maneira mais formal de especificar o mesmo modelo probabilístico. A partir desta formulação podemos ver diretamente que os efeitos aleatórios não são "parâmetros": são variáveis aleatórias não observadas. Então, como podemos estimar os parâmetros de variação sem conhecer os valores de c ?cic

Observe que a primeira equação acima descreve a distribuição condicional de dada c . Se conhecemos a distribuição de c e de y c , podemos calcular a distribuição incondicional de y integrando sobre cyccycyc . Você pode conhecê-lo como a lei da probabilidade total . Se ambas as distribuições forem gaussianas, a distribuição incondicional resultante também será gaussiana.

N(uma+bx,σ2+τ2)ny

yN(a+bx,Σ)
Σ=σ2In+τ2IN1Mσ2τ2cci

abτ2σ2cii

ameba diz Restabelecer Monica
fonte
11
yN(a+bx,σ2I)
yN(a+bx,Σ)
Eu imagino que um pequeno exemplo que funcione dessa maneira fora pode ser bom. Estou pensando em fazer isso sozinho, mas talvez haja recursos que já mostrem esses exemplos (alguém?).
ccc ). Em seguida, ajustamos o modelo, o que significa que ajustamos a tau e outros parâmetros.
Ameba diz Reinstate Monica
Eu acho que simplesmente não entendo a etapa de integração. Como @Martijn Weterings apontou um pequeno exemplo (código R) ou referência onde se pode achar que isso seria ótimo!
statmerkur
Obrigado por aceitar minha resposta e me conceder a recompensa @statmerkur, mas é uma pena que ainda não esteja claro. Vou tentar pensar em um exemplo. Vou fazer ping quando você atualizar a resposta.
Ameba diz Reinstate Monica
@statmerkur Em uma resposta a esta pergunta, demonstro o cálculo manual de um modelo de efeitos mistos (manual no sentido de escrever a função de probabilidade), a otimização ainda é feita por uma função de otimização padrão em R) stats.stackexchange.com/a/ 337348/164061
Sextus
0

É possível estimar facilmente parâmetros de variação e covariância sem depender de efeitos aleatórios usando efeitos fixos (veja aqui para uma discussão efeitos fixos vs. efeitos aleatórios; esteja ciente do fato de que existem definições diferentes desses termos).

Os efeitos fixos podem ser facilmente derivados adicionando uma variável indicadora (binária) para cada grupo (ou cada período de tempo ou o que você estiver pensando em usar como efeitos aleatórios; isso é equivalente à transformação interna). Isso permite estimar facilmente os efeitos fixos (que podem ser vistos como um parâmetro).

A suposição de efeitos fixos não exige que você faça uma suposição da distribuição dos efeitos fixos; é possível estimar facilmente a variação dos efeitos fixos (embora isso seja extremamente barulhento se o número de observações em cada grupo for pequeno; elas minimizam o viés para o custo de uma variação muito maior em comparação com os efeitos aleatórios, porque você perde um grau de liberdade para cada grupo ao adicionar essas variáveis ​​indicadoras). Você também pode estimar covariâncias entre diferentes conjuntos de efeitos fixos ou entre efeitos fixos e outras covariáveis. Fizemos isso, por exemplo, em um artigo chamado Equilíbrio Competitivo e Combinação de Sortimentos na Bundesliga alemã para estimar se melhores jogadores de futebol jogam cada vez mais para times melhores.

Efeitos aleatórios precisam de uma suposição prévia sobre a covariância. Nos modelos clássicos de efeitos aleatórios, você assume que os efeitos aleatórios são como um erro e são independentes das outras covariáveis ​​(para que você possa ignorá-los e usar o OLS e obter estimativas consistentes, embora ineficientes para o outro parâmetro, se as premissas ainda do modelo de efeitos aleatórios é verdadeiro).

Mais informações técnicas adicionais estão disponíveis aqui . Andrew Gelman também tem muito mais trabalho intuitivo sobre isso em seu belo livro Análise de dados usando modelos de regressão e hierárquicos / multiníveis

Arne Jonas Warnke
fonte
11
Refiro-me aos parâmetros de (co) variância dos efeitos aleatórios (veja minha edição).
statmerkur
2
Eu não acho que isso responda à pergunta.
Ameba diz Reinstate Monica