Efeito fixo vs efeito aleatório quando todas as possibilidades estão incluídas em um modelo de efeitos mistos

Em um modelo de efeitos mistos, a recomendação é usar um efeito fixo para estimar um parâmetro se todos os níveis possíveis forem incluídos (por exemplo, homens e mulheres). Recomenda-se ainda o uso de um efeito aleatório para contabilizar uma variável se os níveis incluídos forem apenas uma amostra aleatória de uma população (pacientes inscritos no universo de possíveis pacientes) e você desejar estimar a média e a variação da população em vez dos meios dos níveis individuais dos fatores.

Gostaria de saber se você é logicamente obrigado a sempre usar um efeito fixo dessa maneira. Considere um estudo sobre como o tamanho do pé / sapato muda com o desenvolvimento e está relacionado a, digamos, altura, peso e idade. ${\rm Side}$claramente deve ser incluído no modelo de alguma forma para explicar o fato de que as medidas ao longo dos anos estão aninhadas em um determinado pé e não são independentes. Além disso, direita e esquerda são todas as possibilidades que podem existir. Além disso, pode ser bem verdade que, para um determinado participante, o pé direito é maior (ou menor) que o esquerdo. No entanto, embora o tamanho do pé difira um pouco entre os pés para todas as pessoas, não há razão para acreditar que o pé direito seja, em média, maior que o pé esquerdo. Se eles estão na sua amostra, isso provavelmente se deve a algo sobre a genética das pessoas na sua amostra, e não a algo intrínseco ao pé direito. Finalmente, parece ser um parâmetro incômodo, não algo que você realmente se preocupam. ${\rm side}$

Deixe-me notar que eu inventei este exemplo. Pode não ser bom; é apenas para transmitir a ideia. Pelo que sei, ter um pé direito grande e um pé esquerdo pequeno era necessário para a sobrevivência no paleolítico.

Em um caso como este, isso faria (/ mais / menos) sentido incorporar no modelo como um efeito aleatório? Quais seriam os prós e os contras de usar um efeito fixo vs. aleatório aqui? ${\rm side}$

O problema geral dos efeitos "fixos" e "aleatórios" é que eles não são definidos de maneira consistente. Andrew Gelman cita vários deles:

(1) Os efeitos fixos são constantes entre os indivíduos e os efeitos aleatórios variam. Por exemplo, em um estudo de crescimento, um modelo com intercepção aleatórios e inclinação fixa B corresponde a linhas paralelas de diferentes indivíduos i , ou o modelo de y i t = um i + b t . Kreft e De Leeuw (1998) distinguem, portanto, entre coeficientes fixos e aleatórios.$a_i$$b$$i$$y_{it} = a_i + b_t$

(2) Os efeitos são fixos se forem interessantes em si ou aleatórios se houver interesse na população subjacente. Searle, Casella e McCulloch (1992, Seção 1.4) exploram essa distinção em profundidade.

(3) “Quando uma amostra esgota a população, a variável correspondente é fixa; quando a amostra é uma parte pequena (ou seja, insignificante) da população, a variável correspondente é aleatória. ”(Green e Tukey, 1960)

(4) “Se um efeito é assumido como um valor realizado de uma variável aleatória, é chamado efeito aleatório.” (LaMotte, 1983)

(5) Efeitos fixos são estimados usando mínimos quadrados (ou, mais geralmente, máxima verossimilhança) e efeitos aleatórios são estimados com retração ("previsão linear imparcial" na terminologia de Robinson, 1991). Essa definição é padrão na literatura de modelagem multinível (ver, por exemplo, Snijders e Bosker, 1999, Seção 4.2) e em econometria.

e percebe que eles não são consistentes. Em seu livro Data Analysis Using Regression and Multilevel / Hierarchical Models, ele geralmente evita usar esses termos e em seu trabalho ele se concentra em fixar ou variar entre grupos intercepta e inclina porque

Efeitos fixos podem ser vistos como casos especiais de efeitos aleatórios, nos quais a variação de nível mais alto (no modelo (1.1), isso seria ) é definida como 0 ou ∞ . Portanto, em nossa estrutura, todos os parâmetros de regressão são "aleatórios" e o termo "multinível" é abrangente.$\sigma^2_\alpha$$0$$\infty$

Isto é especialmente verdade com a estrutura bayesiana - comumente usada para modelos mistos - onde todos os efeitos são aleatórios por si só. Se você pensa bayesiano, não está realmente preocupado com efeitos "fixos" e estimativas pontuais e não tem problema em tratar todos os efeitos de forma aleatória.

Quanto mais eu leio sobre esse tópico, mais estou convencido de que se trata de uma discussão ideológica sobre o que podemos (ou devemos) estimar e o que só podemos prever (aqui também poderia me referir à sua própria resposta ). Você usa efeitos aleatórios se tiver uma amostra aleatória de possíveis resultados; portanto, não se preocupa com estimativas individuais e se preocupa mais com os efeitos da população, e com os indivíduos. Portanto, a resposta da sua pergunta depende também do que você pensa se deseja ou pode estimar os efeitos fixos dados seus dados. Se todos os níveis possíveis estiverem incluídos nos seus dados, você poderáestimar efeitos fixos - também, como no seu exemplo, o número de níveis pode ser pequeno e isso geralmente não seria bom para estimar efeitos aleatórios e existem alguns requisitos mínimos para isso .

Argumento do melhor cenário

Digamos que você tenha quantidades ilimitadas de dados e poder computacional ilimitado. Nesse caso, você pode imaginar estimar todos os efeitos como fixos, pois os efeitos fixos oferecem mais flexibilidade (permite comparar os efeitos individuais). No entanto, mesmo neste caso, a maioria de nós relutaria em usar efeitos fixos para tudo.

Por exemplo, imagine que você deseja modelar os resultados dos exames de escolas de alguma região e tenha dados sobre todas as 100 escolas da região. Nesse caso, você pode ameaçar as escolas como fixas - já que você tem dados em todos os níveis - mas, na prática, provavelmente prefere pensar nelas como aleatórias. Por que é que?

1. Uma razão é que, geralmente, nesse tipo de casos, você não está interessado nos efeitos de escolas individuais (e é difícil comparar todos eles), mas em uma variabilidade geral entre as escolas.

2. Outro argumento aqui é a parcimônia do modelo. Geralmente, você não está interessado no modelo "toda influência possível"; portanto, no seu modelo, você inclui poucos efeitos fixos que deseja testar e controlar para as outras possíveis fontes de variabilidade. Isso faz com que os modelos de efeitos mistos se ajustem à maneira geral de pensar sobre modelagem estatística, onde você estima algo e controla outras coisas. Com dados complicados (multiníveis ou hierárquicos), você tem muitos efeitos a serem incluídos, então você ameaça alguns como "fixos" e outros como "aleatórios" para controlá-los.

3. Nesse cenário, você também não pensaria nas escolas como tendo cada uma sua influência única e única nos resultados, mas como nas escolas que exercem alguma influência em geral. Então esse argumento seria que acreditamos que não é realmente possível estimar os efeitos únicos de escolas individuais e, portanto, os ameaçamos como amostra aleatória de possíveis efeitos nas escolas.

Modelos de efeitos mistos estão entre os cenários "tudo corrigido" e "tudo aleatório". Os dados que encontramos nos fazem diminuir nossas expectativas sobre estimar tudo como efeitos fixos; portanto, decidimos quais efeitos queremos comparar e quais efeitos queremos controlar, ou temos um sentimento geral sobre sua influência. Não se trata apenas de quais são os dados, mas também de como pensamos nos dados ao modelá-los.

Sumário executivo

De fato, é comum dizer que, se todos os níveis possíveis de fatores forem incluídos em um modelo misto, esse fator deverá ser tratado como um efeito fixo. Isso não é necessariamente verdade por duas razões distintas:

(1) Se o número de níveis for grande, ele poderá fazer sentido tratar o fator [cruzado] como aleatório.

Concordo com o @Tim e o @RobertLong aqui: se um fator tiver um grande número de níveis, todos incluídos no modelo (como por exemplo, todos os países do mundo; ou todas as escolas de um país; ou talvez toda a população de assuntos são pesquisados ​​etc.), então não há nada de errado em tratá-lo como aleatório - isso poderia ser mais parcimonioso, poderia fornecer algum encolhimento etc.

lmer(size ~ age + subjectID)                     # fixed effect
lmer(size ~ age + (1|subjectID))                 # random effect

(2) Se o fator estiver aninhado dentro de outro efeito aleatório, ele deverá ser tratado como aleatório, independentemente do seu número de níveis.

Houve uma grande confusão nesse tópico (ver comentários) porque outras respostas são sobre o caso 1, mas o exemplo que você deu é um exemplo de uma situação diferente , a saber, o caso 2. Aqui existem apenas dois níveis (ou seja, não "um grande número"!) E eles esgotam todas as possibilidades, mas estão aninhados dentro de outro efeito aleatório , produzindo um efeito aleatório aninhado.

lmer(size ~ age + (1|subject) + (1|subject:side)  # side HAS to be random

---

Discussão detalhada do seu exemplo

Os lados e assuntos em seu experimento imaginário estão relacionados, como aulas e escolas, no exemplo de modelo hierárquico padrão. Talvez cada escola (nº 1, nº 2, nº 3, etc.) possua as classes A e B, e essas duas classes devem ser aproximadamente as mesmas. Você não modelará as classes A e B como um efeito fixo com dois níveis; Isso seria um erro. Mas você não modelará as classes A e B como um efeito aleatório "separado" (isto é, cruzado) com dois níveis também; isso seria um erro também. Em vez disso, você modelará classes como um efeito aleatório aninhado dentro das escolas.

Veja aqui: Efeitos aleatórios cruzados vs aninhados: como eles diferem e como são especificados corretamente no lme4?

Em seu estudo imaginário do tamanho do pé, sujeito e lado são efeitos aleatórios e lado é aninhado dentro do sujeito. Isso significa essencialmente que uma variável combinada é formada, por exemplo, John-Left, John-Right, Mary-Left, Mary-Right, etc., e existem dois efeitos aleatórios cruzados: sujeitos e sujeitos-lados. Então, por assunto$i=1\ldots n$ e para o lado $j=1,2$ Nós teríamos:

$$\text{Size}_{ijk} = \mu+\alpha\cdot\text{Height}_{ijk}+\beta\cdot\text{Weight}_{ijk}+\gamma\cdot\text{Age}_{ijk}+\epsilon_i + \color{red}{\epsilon_{ij}} + \epsilon_{ijk}$$ $$\epsilon_i\sim\mathcal N(0,\sigma^2_\mathrm{subjects}),\quad\quad\text{Random intercept for each subject}$$ $$\color{red}{\epsilon_{ij}}\sim\mathcal N(0,\sigma^2_\text{subject-side}),\quad\quad\text{Random int. for side nested in subject}$$ $$\epsilon_{ijk}\sim\mathcal N(0,\sigma^2_\text{noise}),\quad\quad\text{Error term}$$

Como você mesmo escreveu, "não há razão para acreditar que o pé direito seja, em média, maior que o pé esquerdo". Portanto, não deve haver efeito "global" (nem fixo nem cruzado aleatoriamente) do pé direito ou esquerdo; em vez disso, pode-se pensar que cada sujeito tem "um" pé e "outro" pé, e essa variabilidade devemos incluir no modelo. Esses pés "um" e "outro" são aninhados dentro dos sujeitos, portanto, efeitos aleatórios aninhados.

Mais detalhes em resposta aos comentários. [26 de setembro]

My model above includes Side as a nested random effect within Subjects. Here is an alternative model, suggested by @Robert, where Side is a fixed effect:

$$\text{Size}_{ijk} = \mu+\alpha\cdot\text{Height}_{ijk}+\beta\cdot\text{Weight}_{ijk}+\gamma\cdot\text{Age}_{ijk} + \color{red}{\delta\cdot\text{Side}_j}+\epsilon_i + \epsilon_{ijk}$$

I challenge @RobertLong or @gung to explain how this model can take care of the dependencies existing for consecutive measurements of the same Side of the same Subject, i.e. of the dependencies for data points with the same $ij$ combination.

It cannot.

The same is true for @gung's hypothetical model with Side as a crossed random effect:

$$\text{Size}_{ijk} = \mu+\alpha\cdot\text{Height}_{ijk}+\beta\cdot\text{Weight}_{ijk}+\gamma\cdot\text{Age}_{ijk} +\epsilon_i + \color{red}{\epsilon_j} + \epsilon_{ijk}$$

Ele também não considera dependências.

Demonstração via simulação [2 de outubro]

Aqui está uma demonstração direta em R.

Gero um conjunto de dados de brinquedo com cinco sujeitos medidos nos dois pés por cinco anos consecutivos. O efeito da idade é linear. Cada sujeito tem uma interceptação aleatória. E cada sujeito tem um dos pés (esquerdo ou direito) maior que outro.

set.seed(17)

demo = data.frame(expand.grid(age = 1:5,
                              side=c("Left", "Right"),
                              subject=c("Subject A", "Subject B", "Subject C", "Subject D", "Subject E")))
demo$size = 10 + demo$age + rnorm(nrow(demo))/3

for (s in unique(demo$subject)){
  # adding a random intercept for each subject 
  demo[demo$subject==s,]$size = demo[demo$subject==s,]$size + rnorm(1)*10

  # making the two feet of each subject different     
  for (l in unique(demo$side)){
    demo[demo$subject==s & demo$side==l,]$size = demo[demo$subject==s & demo$side==l,]$size + rnorm(1)*7
  }
}

plot(1:50, demo$size)

Desculpas pelas minhas terríveis habilidades em R. Aqui está como os dados são exibidos (cada cinco pontos consecutivos é um pé de uma pessoa medida ao longo dos anos; cada dez pontos consecutivos são dois pés da mesma pessoa):

Agora podemos encaixar vários modelos:

require(lme4)
summary(lmer(size ~ age + side + (1|subject), demo))
summary(lmer(size ~ age + (1|side) + (1|subject), demo))
summary(lmer(size ~ age + (1|subject/side), demo))

Todos os modelos incluem um efeito fixo de agee um efeito aleatório de subject, mas tratam de maneira sidediferente.

1. Model 1: fixed effect of side. This is @Robert's model. Result: age comes out not significant ($t=1.8$), residual variance is huge (29.81).

2. Modelo 2: efeito aleatório cruzado de side. Este é o modelo "hipotético" de @ gung do OP. Resultado: agesai não significativo ($t=1.4$), a variação residual é enorme (29,81).

3. Modelo 3: efeito aleatório aninhado de side. Este é o meu modelo. Resultado: ageé muito significativo ($t=37$, sim, trinta e sete), a variação residual é pequena (0,07).

Isso mostra claramente que sidedeve ser tratado como um efeito aleatório aninhado.

Por fim, nos comentários, o @Robert sugeriu incluir o efeito global de sidecomo uma variável de controle. Podemos fazer isso, mantendo o efeito aleatório aninhado:

summary(lmer(size ~ age + side + (1|subject/side), demo))
summary(lmer(size ~ age + (1|side) + (1|subject/side), demo))

Esses dois modelos não diferem muito do número 3. O modelo 4 produz um efeito fixo pequeno e insignificante de side($t=0.5$) O modelo 5 produz uma estimativa de sidevariação igual a exatamente zero.

Para adicionar às outras respostas:

I don't think you are logically obliged to always use a fixed effect in the manner described in the OP. Even when the usual definitions/guidelines for when to treat a factor as random are not met, I might be inclined to still model it as random when there are a large number of levels, so that treating the factor as fixed would consume many degrees of freedom and result in a cumbersome and less parsimonious model.

Se você está falando sobre a situação em que conhece todos os níveis possíveis de um fator de interesse e também possui dados para estimar os efeitos, definitivamente não precisa representar níveis com efeitos aleatórios.

A razão pela qual você deseja definir um efeito aleatório para um fator é porque deseja inferir sobre os efeitos de todos os níveis desse fator, que normalmente são desconhecidos. Para fazer esse tipo de inferência, você impõe a suposição de que os efeitos de todos os níveis formam uma distribuição normal em geral. Mas, dada a configuração do seu problema, você pode estimar os efeitos de todos os níveis. Então certamente não há necessidade de definir efeitos aleatórios e impor suposições adicionais.

É como a situação em que você é capaz de obter todos os valores da população (portanto, você sabe a verdadeira média), mas está tentando tirar uma amostra grande da população e usar o teorema do limite central para aproximar a distribuição da amostra e, em seguida, faça inferência sobre a verdadeira média.