Mostrando que 100 medidas para 5 sujeitos fornecem muito menos informações do que 5 medidas para 100 sujeitos

Em uma conferência, ouvi a seguinte declaração:

100 medições para 5 sujeitos fornecem muito menos informações do que 5 medições para 100 sujeitos.

É meio óbvio que isso é verdade, mas eu queria saber como alguém poderia provar isso matematicamente ... Eu acho que um modelo misto linear poderia ser usado. No entanto, eu não sei muito sobre a matemática usada para lmer4calculá- las (eu apenas corro para LMMs e bmrsGLMMs :) Você poderia me mostrar um exemplo em que isso é verdade? Eu preferiria uma resposta com algumas fórmulas, do que apenas algum código em R. Sinta-se livre para assumir uma configuração simples, como por exemplo modelo misto linear com interceptações e inclinações aleatórias normalmente distribuídas.

PS: uma resposta baseada em matemática que não envolva LMMs também seria aceitável. Pensei nos LMMs porque eles me pareciam a ferramenta natural para explicar por que menos medidas de mais assuntos são melhores do que mais medidas de poucos assuntos, mas posso estar errado.

A resposta curta é que sua conjectura é verdadeira quando e somente quando há uma correlação intra-classe positiva nos dados . Empiricamente falando, a maioria dos conjuntos de dados agrupados na maioria das vezes mostra uma correlação intra-classe positiva, o que significa que, na prática, sua conjectura é geralmente verdadeira. Mas se a correlação intra-classe for 0, os dois casos mencionados são igualmente informativos. E se a correlação intra-classe for negativa , será menos informativo fazer menos medições em mais assuntos; na verdade, preferimos (no que diz respeito à redução da variação da estimativa de parâmetros) fazer todas as nossas medições em um único assunto.

Estatisticamente, há duas perspectivas a partir do qual podemos pensar sobre isso: um de efeitos aleatórios (ou mista ) modelo , que você menciona na sua pergunta, ou um modelo marginal , o que acaba sendo um pouco mais informativo aqui.

Modelo de efeitos aleatórios (misto)

Digamos que temos um conjunto de assuntos dos quais fizemos m medições cada. Em seguida, um modelo de efeitos aleatórios simples do j th medição do i th sujeito pode ser y i j = β + u i + e i j , onde β é a intercepção fixo, u i é o efeito sujeito aleatório (com variância σ 2 u ), e i j é o termo de erro no nível de observação (com variação σ 2 $n$$m$$j$$i$

$$y_{ij} = \beta + u_i + e_{ij},$$ $\beta$$u_i$$\sigma^2_u$$e_{ij}$$\sigma^2_e$) e os dois últimos termos aleatórios são independentes.

Nesse modelo, representa a média da população e, com um conjunto de dados equilibrado (ou seja, um número igual de medidas de cada sujeito), nossa melhor estimativa é simplesmente a média da amostra. Portanto, se tomarmos "mais informações" para significar uma variação menor para essa estimativa, basicamente queremos saber como a variação da média da amostra depende de n e m . Com um pouco de álgebra, podemos descobrir que var ( $\beta$$n$$m$ Examinando essa expressão, podemos ver quesemprequehouver qualquer variação de assunto(ou seja,σ2u>0), aumentar o número de sujeitos (n) tornará esses dois termos menores, enquanto aumenta o número de medições por sujeito (m) apenas tornará o segundo termo menor. (Para uma implicação prática disso na criação de projetos de replicação para vários sites, consulteesta postagem do blog que escrevi há pouco tempo.)

$$\begin{aligned} \text{var}(\frac{1}{nm}\sum_i\sum_jy_{ij}) &= \text{var}(\frac{1}{nm}\sum_i\sum_j\beta + u_i + e_{ij}) \\ &= \frac{1}{n^2m^2}\text{var}(\sum_i\sum_ju_i + \sum_i\sum_je_{ij}) \\ &= \frac{1}{n^2m^2}\Big(m^2\sum_i\text{var}(u_i) + \sum_i\sum_j\text{var}(e_{ij})\Big) \\ &= \frac{1}{n^2m^2}(nm^2\sigma^2_u + nm\sigma^2_e) \\ &= \frac{\sigma^2_u}{n} + \frac{\sigma^2_e}{nm}. \end{aligned}$$ $\sigma^2_u>0$$n$$m$

Agora você queria saber o que acontece quando aumentamos ou diminuímos ou n , mantendo constante o número total de observações. Portanto, para isso, consideramos n m uma constante, de modo que toda a expressão de variação se pareça com σ 2 $m$$n$$nm$ que é o menor possível quandoné o maior possível (até um máximo den=nm, nesse casom=1, o que significa que fazemos uma única medição de cada sujeito).

$$\frac{\sigma^2_u}{n} + \text{constant},$$ $n$$n=nm$$m=1$

Minha resposta curta se refere à correlação intra-classe, então onde isso se encaixa? Neste modelo simples de efeitos aleatórios, a correlação intra-classe é (esboço de uma derivaçãoaqui). Então, podemos escrever a equação de variância acima como var(

$$\rho = \frac{\sigma^2_u}{\sigma^2_u + \sigma^2_e}$$ Isso realmente não adiciona nenhum insight ao que já vimos acima, mas nos faz pensar: uma vez que a correlação intra-classe é um coeficiente de correlação de boa-fé e coeficientes de correlação pode ser negativo, o que aconteceria (e o que isso significaria) se a correlação intra-classe fosse negativa? $$\text{var}(\frac{1}{nm}\sum_i\sum_jy_{ij}) = \frac{\sigma^2_u}{n} + \frac{\sigma^2_e}{nm} = \Big(\frac{\rho}{n} + \frac{1-\rho}{nm}\Big)(\sigma^2_u+\sigma^2_e)$$

No contexto do modelo de efeitos aleatórios, uma correlação intra-classe negativa realmente não faz sentido, porque implica que a variação de assunto é de alguma forma negativa (como podemos ver na equação ρ acima e como explicada aqui e aqui ) ... mas as variações não podem ser negativas! Mas isso não significa que o conceito de correlação intra-classe negativa não faça sentido; significa apenas que o modelo de efeitos aleatórios não tem como expressar esse conceito, que é uma falha do modelo, não do conceito. Para expressar esse conceito adequadamente, precisamos considerar o modelo marginal.$\sigma^2_u$$\rho$

Modelo marginal

$y_{ij}$

$$y_{ij} = \beta + e^*_{ij},$$ $u_i$$e_{ij}$$e^*_{ij} = u_i + e_{ij}$$u_i$$e_{ij}$$e^*_{ij}$$\textbf{C}$ $$\textbf{C}= \sigma^2\begin{bmatrix} \textbf{R} & 0& \cdots & 0\\ 0& \textbf{R} & \cdots & 0\\ \vdots & \vdots & \ddots & \vdots \\ 0& 0& \cdots &\textbf{R}\\ \end{bmatrix}, \textbf{R}= \begin{bmatrix} 1 & \rho & \cdots & \rho \\ \rho & 1 & \cdots & \rho \\ \vdots & \vdots & \ddots & \vdots \\ \rho & \rho & \cdots &1\\ \end{bmatrix}$$ In words, this means that under the marginal model we simply consider $\rho$ to be the expected correlation between two $e^*$s from the same subject (we assume the correlation across subjects is 0). When $\rho$é positivo, duas observações extraídas do mesmo assunto tendem a ser mais semelhantes (mais próximas), em média, do que duas observações extraídas aleatoriamente do conjunto de dados, ignorando o agrupamento devido aos sujeitos. Quando$\rho$for negativo , duas observações extraídas do mesmo assunto tendem a ser menos semelhantes (mais afastadas), em média, do que duas observações extraídas completamente ao acaso. (Mais informações sobre esta interpretação nas perguntas / respostas aqui .)

Então agora, quando olhamos para a equação para a variância da média da amostra no modelo marginal, temos

$$\begin{aligned} \text{var}(\frac{1}{nm}\sum_i\sum_jy_{ij}) &= \text{var}(\frac{1}{nm}\sum_i\sum_j\beta + e^*_{ij}) \\ &= \frac{1}{n^2m^2}\text{var}(\sum_i\sum_je^*_{ij}) \\ &= \frac{1}{n^2m^2}\Big(n\big(m\sigma^2 + (m^2-m)\rho\sigma^2\big)\Big) \\ &= \frac{\sigma^2\big(1+(m-1)\rho\big)}{nm} \\ &= \Big(\frac{\rho}{n}+\frac{1-\rho}{nm}\Big)\sigma^2, \end{aligned}$$ que é a mesma expressão de variação que derivamos acima para o modelo de efeitos aleatórios, apenas com $\sigma^2_e+\sigma^2_u=\sigma^2$, o que é consistente com nossa observação acima $e^*_{ij} = u_i + e_{ij}$. The advantage of this (statistically equivalent) perspective is that here we can think about a negative intra-class correlation without needing to invoke any weird concepts like a negative subject variance. Negative intra-class correlations just fit naturally in this framework.

(BTW, just a quick aside to point out that the second-to-last line of the derivation above implies that we must have $\rho \ge -1/(m-1)$, or else the whole equation is negative, but variances can't be negative! So there is a lower bound on the intra-class correlation that depends on how many measurements we have per cluster. For $m=2$ (i.e., we measure each subject twice), the intra-class correlation can go all the way down to $\rho=-1$; para$m=3$ só pode descer para $\rho=-1/2$; e assim por diante. Fato engraçado!)

Então, finalmente, mais uma vez considerando o número total de observações $nm$ para ser uma constante, vemos que a penúltima linha da derivação acima se parece com

$$\big(1+(m-1)\rho\big) \times \text{positive constant}.$$ Então quando $\rho>0$, tendo $m$o menor possível (para que tomemos menos medidas de mais sujeitos - no limite, 1 medida de cada sujeito) reduz a variação da estimativa o menor possível. Mas quando$\rho<0$, nós realmente queremos $m$ser o maior possível (para que, no limite, tomemos todas as$nm$medições de um único sujeito), a fim de tornar a variação o menor possível. E quando$\rho=0$, a variação da estimativa é apenas uma constante; portanto, nossa alocação de $m$ e $n$ não importa.