Qual é a diferença entre efeitos aleatórios, efeitos fixos e modelo marginal?

49

Estou tentando expandir meu conhecimento de estatística. Eu venho de uma experiência em ciências físicas com uma abordagem "baseada em receita" para testes estatísticos, onde dizemos que é contínuo, é normalmente distribuído - regressão OLS .

Na minha leitura, encontrei os termos: modelo de efeitos aleatórios, modelo de efeitos fixos, modelo marginal. Minhas perguntas são:

  • Em termos muito simples, o que são?
  • Quais são as diferenças entre eles?
  • Algum deles é sinônimo?
  • Onde os testes tradicionais como regressão OLS, ANOVA e ANCOVA se enquadram nessa classificação?

Apenas tentando decidir para onde ir em seguida com o auto-estudo.

N26
fonte
11
@gung: A resposta que você concederá à recompensa ultrapassa de longe todas as respostas no tópico "principal" sobre as diferenças entre efeitos fixos / aleatórios (vinculados no comentário acima). Essa pergunta tem mais de 40 votos positivos e uma resposta aceita com 25 votos positivos, o que infelizmente não é muito útil. Talvez possamos mesclar esses tópicos? Eu acho que isso significaria que o OP N26 perderá a votação positiva, mas a conta deles não parece mais ativa de qualquer maneira. Não tenho certeza qual é o melhor curso de ação.
Ameba diz Reinstate Monica
11
Obrigado @amoeba, acho que isso merece mais atenção também. Parece-me que essa pergunta, embora intitulada da mesma forma, é na verdade um pouco diferente (e talvez equivocada). Eu não tenho autoridade para mesclar isso. Acabei de adicionar um comentário no link para este tópico. Por que não levantar a questão do que fazer com esses tópicos no meta.CV e veremos o que as pessoas pensam?
gung - Restabelece Monica

Respostas:

53

Esta questão foi discutida parcialmente neste site, como abaixo, e as opiniões parecem contraditórias.

Todos os termos geralmente estão relacionados a dados longitudinais / em painel / agrupados / hierárquicos e medidas repetidas (no formato de regressão avançada e ANOVA), mas têm múltiplos significados em diferentes contextos. Gostaria de responder à pergunta em fórmulas baseadas no meu conhecimento.

Modelo de efeitos fixos

  • Em bioestatística, efeitos fixos, denotados como na Equação (*) abaixo, geralmente são associados a efeitos aleatórios. Mas o modelo de efeitos fixos também é definido para assumir que as observações são independentes, como um cenário transversal, como em Longitudinal Data Analysis of Hedeker and Gibbons (2006).β
  • Na econometria, o modelo de efeitos fixos pode ser escrito como onde é interceptação fixa (não aleatória) para cada sujeito ( ), ou também podemos ter um efeito fixo como para cada medida repetida ( ); indica covariáveis.
    yij=xijβ+ui+ϵij
    uiiujjxij
  • Na metanálise, o modelo de efeito fixo assume que o efeito subjacente é o mesmo em todos os estudos (por exemplo, Mantel e Haenszel, 1959).

Modelo de efeitos aleatórios

  • Em bioestatística, o modelo de efeitos aleatórios (Laird e Ware, 1982) pode ser escrito como onde deve seguir uma distribuição. indica covariáveis ​​para efeitos fixos e indica covariáveis ​​para efeitos aleatórios.
    (*)yij=xijβ+zijui+eij
    uixijzij
  • Na econometria, o modelo de efeitos aleatórios pode se referir apenas ao modelo de interceptação aleatória como na bioestatística, ou seja, e é um escalar.zij=1ui
  • Na metanálise, o modelo de efeito aleatório assume efeitos heterogêneos entre os estudos (DerSimonian e Laird, 1986).

Modelo marginal

O modelo marginal é geralmente comparado ao modelo condicional (modelo de efeitos aleatórios), e o primeiro se concentra na média da população (por exemplo, modelo linear) enquanto este lida com a média condicionalA interpretação e a escala dos coeficientes de regressão entre o modelo marginal e o modelo de efeitos aleatórios seriam diferentes para modelos não lineares (por exemplo, regressão logística). Seja , então

E(yij)=xijβ,
E(yij|ui)=xijβ+zijui.
E(yij)=E(E(yij|ui))=E(h-1(xh(E(yij|ui))=xijβ+zijuihui=0
E(yij)=E(E(yij|ui))=E(h1(xijβ+zijui))h1(xijβ),
menos que trivialmente a função de link seja o link de identidade (modelo linear ) ou (sem efeitos aleatórios). Bons exemplos incluem equações de estimativa generalizada (GEE; Zeger, Liang e Albert, 1988) e modelos multiníveis marginalizados (Heagerty e Zeger, 2000).hui=0
Randel
fonte
Obrigado, Randel. Mais uma pergunta, sobre terminologia de "modelo misto". Tanto quanto eu entendo, em bioestatística, sua equação (*) seria chamada de modelo misto porque contém efeitos aleatórios e fixos. Isso está correto? Mas o termo "modelo misto" também é usado em econometria? Se sim, a que se refere?
Ameba diz Reinstate Monica
Sim, a equação (*) também é chamada de modelo misto nas (bio) estatísticas. Até onde eu sei, o econometrista pode não chamá-lo de "modelo misto", mas "modelo de efeitos aleatórios" ou "modelo de coeficiente aleatório", se estiver interessado na heterogeneidade de cluster. Para mim, a única diferença é a suposição de efeito específico de cluster, fixo ou aleatório.
Randel
11
@skan indica covariáveis ​​para efeitos aleatórios. É um vetor e é a transposição. zzijzij
quer
11
Aqui está um exemplo detalhado. Espero que ajude. @skan
Randel
11
@skan Não é recomendável ter os dois, também é suficiente. Aqui está um exemplo perfeito.
Randel
1

Corrija-me se eu estiver errado aqui:

Conceitualmente, existem quatro efeitos possíveis: interceptação fixa, coeficiente fixo, interceptação aleatória, coeficiente aleatório. A maioria dos modelos de regressão são 'efeitos aleatórios'; portanto, eles têm interceptações e coeficientes aleatórios. O termo "efeito aleatório" entrou em uso em contraste com "efeito fixo".

'Efeito fixo' é quando uma variável afeta parte da amostra, mas não todas. A versão mais simples de um modelo de efeito fixo (conceitualmente) seria uma variável dummy, para um efeito fixo com um valor binário. Esses modelos têm uma única interceptação aleatória, coeficientes de efeito fixo e coeficientes variáveis ​​aleatórios.

O próximo nível de complicação (conceitualmente) é quando o efeito fixo não é binário, mas nominal, com muitos valores. Nesse caso, o que é gerado é um modelo com muitas interceptações (uma para cada um dos valores nominais). É aqui que você obtém as 'múltiplas linhas' clássicas de um modelo de dados em painel , onde cada uma das 'opções' de uma variável de efeito fixo obtém seu próprio efeito. A virtude de jogar todas as diferentes séries de dados específicas de fatores em uma única regressão (em vez de fazer cada fator do efeito fixo como sua própria regressão) é que você consegue agrupar a variação de todos os diferentes efeitos em uma equação e, portanto, obtenha melhores (mais certos) valores para todos os seus coeficientes.

O 'nível três' de complicação seria quando o 'efeito fixo' for em si uma variável aleatória, exceto que seus efeitos são 'fixos' para afetar apenas um subconjunto da amostra. Nesse ponto, o modelo teria uma interceptação aleatória, várias interceptações fixas e várias variáveis ​​aleatórias. Eu acho que isso é o que é conhecido como modelo de 'efeitos mistos'?

Os modelos de 'efeito misto' são usados ​​para modelagem de vários níveis (MLM), pois os 'efeitos fixos' podem ser usados ​​para aninhar um subconjunto de dados dentro de outro. Esse agrupamento pode ter várias camadas, com os alunos aninhados nas salas de aula, aninhados nas escolas. A escola é um efeito fixo nas salas de aula e nos alunos. (A escola pode ou não ter um efeito fixo no aluno, dependendo do desenho experimental - não tenho certeza)

Os modelos de dados em painel são modelos de 'efeito misto', mas usam duas dimensões para agrupar, geralmente tempo e algum tipo de categoria.

Mox
fonte
Não sabe ao certo o que você quer dizer com "Efeitos fixos cobrem 'conjuntos' de opções: A ou B; ... Efeitos aleatórios incluem itens como peso corporal". Você quer dizer que efeitos fixos são para variáveis ​​discretas, efeitos aleatórios são para variáveis ​​contínuas? Também não sei por que "usar várias variáveis ​​fictícias para a mesma coisa é estatisticamente inapropriado". O modelo de efeitos fixos em econometria tem uma variável dummy para cada "painel". Eu não posso concordar com "modelos 'Mistos' ... Tendo 'corrigido' interceptações por agrupamento, eles não têm mais uma interceptação aleatória". Muitos modelos de efeitos mistos têm uma interceptação aleatória.
Randel 24/10
Meu entendimento é imperfeito. Vou editar minha resposta e tentar novamente.
Mox
É possível que uma variável apareça simultaneamente como efeito fixo e como efeito aleatório?
skan