Qual é a diferença matemática entre efeitos aleatórios e fixos?

26

Eu descobri muito na internet sobre a interpretação de efeitos aleatórios e fixos. No entanto, não foi possível obter uma fonte identificando o seguinte:

Qual é a diferença matemática entre efeitos aleatórios e fixos?

Com isso, quero dizer a formulação matemática do modelo e a maneira como os parâmetros são estimados.

brincadeira
fonte
11
Bem, efeitos fixos afetam a média de uma distribuição conjunta e efeitos aleatórios afetam a estrutura de variância e associação. O que exatamente você quer dizer com "diferença matemática"? Você está perguntando como a probabilidade muda? Você pode ser mais específico?
Macro
11
A questão não parece distinguir o fundo do qual está sendo desenhada. Essa terminologia no Panel Data Economics é diferente da de outras ciências sociais usando Modelos Multiníveis. A questão requer esclarecimentos adicionais. Senão, isso é enganoso para quem chega aqui de qualquer um dos antecedentes sem saber que existe uma definição alternativa em um campo relacionado.
Luchonacho

Respostas:

21

O modelo mais simples com efeitos aleatórios é o modelo ANOVA unidirecional com efeitos aleatórios, dado por observações com premissas distributivas: ( y i jμ i ) iid N ( μ i , σ 2 w ) ,yij

(yijμi)iidN(μi,σw2),j=1,,J,μiiidN(μ,σb2),i=1,,I.

Aqui os efeitos aleatórios são os . São variáveis ​​aleatórias, enquanto são números fixos no modelo ANOVA com efeitos fixos.μi

Por exemplo, cada um dos três técnicos em um laboratório registra uma série de medições, e y i j é a j- ésima medida do técnico i . Chame μ i o "verdadeiro valor médio" da série gerada pelo técnico i ; este é um parâmetro pouco artificial, você pode ver μ i como o valor médio que técnico i teria sido obtido se ele / ela tinha gravado uma enorme série de medições.i=1,2,3yijjiμiiμii

Se você estiver interessado em avaliar , µ 2 , µ 3 (por exemplo, para avaliar o viés entre operadores), será necessário usar o modelo ANOVA com efeitos fixos.μ1μ2μ3

Você deve usar o modelo ANOVA com efeitos aleatórios quando estiver interessado nas variações e σ 2 b que definem o modelo e na variação total σ 2 b + σ 2 w (veja abaixo). A variação σ 2 w é a variação das gravações geradas por um técnico (é assumido o mesmo para todos os técnicos) e σ 2σw2σb2 σb2+σw2σw2 é chamado de variação entre os técnicos. Talvez o ideal seja que os técnicos sejam selecionados aleatoriamente.σb2

Este modelo reflete a fórmula de decomposição de variância para uma amostra de dados: insira a descrição da imagem aqui

Variação total = variação das médias médias das intra-variações+

o que é refletido pelo modelo ANOVA com efeitos aleatórios: insira a descrição da imagem aqui

De fato, a distribuição de é definida por sua distribuição condicional ( y i j ) dada μ i e pela distribuição de μ i . Se alguém calcular a distribuição "incondicional" de y i j, então encontraremos y i jN ( μ , σ 2 b + σ 2 w ) .yij(yij)μiμiyijyijN(μ,σb2+σw2)

Vejo slides 24 e 25 aqui para obter melhores fotos (você precisa salvar o arquivo pdf para apreciar as sobreposições, não assista à versão online).

Stéphane Laurent
fonte
11
(+1) Figuras muito bonitas!
Ameba diz Reinstate Monica
11
Obrigado @amoeba, meu código para os momentos de inércia está disponível no meu blog: stla.github.io/stlapblog/posts/Variance_inertia.html
Stéphane Laurent
Eu não entendo. Se tenho várias medições realizadas por vários técnicos, por que preciso de uma ANOVA? Não posso apenas ajustar um gaussiano aos resultados de cada técnico e obter e σ para cada um deles? O que a sua maneira de resolver isso me permite fazer, e a minha maneira não? μσ
precisa saber é o seguinte
@TheChymera ANOVA é a suposição de um comum . Você obtém um intervalo de confiança menor com essa suposição. Mas seu comentário é sobre os motivos para usar uma ANOVA com variância comum vs uma ANOVA com variâncias diferentes, esse não é realmente o tópico aqui. σ
Stéphane Laurent
@ StéphaneLaurent Qual ANOVA é a suposição de um comum ? - também, que coisas é este σ comum? Você disse: "Se você está interessado em avaliar µ1, µ2, µ3 (por exemplo, para avaliar o viés entre operadores), é necessário usar o modelo ANOVA com efeitos fixos". Qual é a fórmula do método ANOVA com efeitos fixos e como ele o informa sobre μ i sem informar σ 2 b ? Além disso, como ele pode fornecer uma estimativa de µ i sem fornecer todas as informações necessárias para calcular σ 2 w ? (e vice-versa para o modelo de efeitos aleatórios)σσμiσb2μiσw2
TheChymera
16

Basicamente, o que eu acho que é a diferença mais distinta se você modelar um fator como aleatório, é que se supõe que os efeitos sejam extraídos de uma distribuição normal comum.

Por exemplo, se você tem algum tipo de modelo em relação às notas e deseja contabilizar os dados dos alunos provenientes de escolas diferentes e você modela a escola como um fator aleatório, isso significa que você assume que as médias por escola são normalmente distribuídas. Isso significa que duas fontes de variação são a modelagem: a variabilidade na escola das notas dos alunos e a variabilidade entre as escolas.

Isso resulta em algo chamado pool parcial . Considere dois extremos:

  1. A escola não tem nenhum efeito (entre a variabilidade da escola é zero). Nesse caso, um modelo linear que não considera a escola seria o ideal.
  2. A variabilidade escolar é maior que a variabilidade do aluno. Então, você basicamente precisa trabalhar no nível da escola, e não no nível dos alunos (menos # amostras). Este é basicamente o modelo em que você considera a escola usando efeitos fixos. Isso pode ser problemático se você tiver poucas amostras por escola.

Ao estimar a variabilidade em ambos os níveis, o modelo misto cria um compromisso inteligente entre essas duas abordagens. Especialmente se você tiver um número de alunos não tão grande por escola, isso significa que você reduzirá os efeitos de cada escola, conforme estimado pelo modelo 2, em relação à média geral do modelo 1.

Isso ocorre porque os modelos dizem que, se você tem uma escola com dois alunos, o que é melhor do que o que é "normal" para a população de escolas, é provável que parte desse efeito seja explicada pelo fato de a escola ter tido sorte na escolha. dos dois alunos olhou. Isso não é feito às cegas, depende da estimativa da variabilidade dentro da escola. Isso também significa que os níveis de efeito com menos amostras são mais fortemente atraídos para a média geral do que as escolas grandes.

O importante é que você precisa de permutabilidade nos níveis do fator aleatório. Isso significa que, neste caso, as escolas são (pelo seu conhecimento) permutáveis ​​e você não sabe nada que as faça distintas (exceto algum tipo de identificação). Se você tiver informações adicionais, poderá incluir isso como um fator adicional, basta que as escolas sejam permutáveis ​​sob condição de outras informações contadas.

Por exemplo, faria sentido supor que adultos de 30 anos que moram em Nova York sejam permutáveis, dependendo do sexo. Se você tiver mais informações (idade, etnia, educação), faria sentido incluir essas informações também.

OTH, se você estudou com um grupo controle e três grupos de doenças muito diferentes, não faz sentido modelar o grupo como aleatório, pois doenças específicas não são permutáveis. No entanto, muitas pessoas gostam tão bem do efeito de encolhimento que ainda argumentariam por um modelo de efeitos aleatórios, mas isso é outra história.

Percebo que não entendi muito da matemática, mas basicamente a diferença é que o modelo de efeitos aleatórios estimou um erro normalmente distribuído tanto no nível das escolas quanto no nível dos alunos, enquanto o modelo de efeito fixo apresenta apenas o erro. o nível dos alunos. Especialmente, isso significa que cada escola tem seu próprio nível que não está conectado aos outros níveis por uma distribuição comum. Isso também significa que o modelo fixo não permite extrapolar para um aluno da escola não incluído nos dados originais, enquanto o modelo de efeito aleatório o faz, com uma variabilidade que é a soma do nível do aluno e da variabilidade do nível da escola. Se você estiver especificamente interessado na probabilidade, podemos trabalhar nisso.

Erik
fonte
11
(+1) Uma ótima resposta, que é surpreendentemente sub-votada. Percebi um erro de digitação confuso: "excluído" deve ler "incluído". Além disso: qual seria uma diferença prática esperada entre tratar a escola como efeito aleatório versus efeito fixo? Entendo que tratar como fixo não permitiria prever o desempenho de um aluno de uma nova escola, mas e as diferenças nos dados disponíveis? Digamos que outros efeitos fixos sejam o sexo, raça e peso dos alunos (o que for). Tratar a escola como aleatória / fixa influencia o poder dos principais efeitos ou interações de interesse? Alguma outra diferença?
Ameba diz Reinstate Monica
3
@amoeba Deixando de lado a consistência, o MSE no coeficiente no nível do aluno pode ser mais ou menos eficiente em um modelo de efeitos aleatórios versus um modelo fixo, dependendo, entre outras coisas, do nível de correlação entre o aluno X e o efeito aleatório, números de cluster, etc. . Clark e Linzer 2012 tem simulação resultados.
conjugateprior
11
@conjugateprior Uau, muito obrigado por este comentário! Eu li o artigo vinculado e é a explicação mais clara da questão que eu já vi. Passei uma quantidade considerável de tempo lendo vários tópicos aqui no CV sobre efeitos fixos / aleatórios, mas não consegui descobrir quando devemos usar um sobre o outro e por quê. A leitura de C&L deixou muito mais claro para mim. Você talvez queira escrever uma resposta em algum lugar do CV, apresentando o resumo deste e / ou artigos relacionados? Estou executando uma recompensa no segmento [modelo misto] mais votado e ficarei feliz em lhe conceder outro também.
Ameba diz Restabelecer Monica
@Erik, editei para corrigir "escolaridade parcial" para "pooling parcial". Eu acho que foi um erro de digitação, mas pede desculpas se foi um trocadilho!
Ameba diz Reinstate Monica
2

Na economia, esses efeitos são interceptações (ou constantes) específicas do indivíduo que não são observadas, mas podem ser estimadas usando dados em painel (observação repetida nas mesmas unidades ao longo do tempo). O método de estimativa de efeitos fixos permite correlação entre as interceptações específicas da unidade e as variáveis ​​explicativas independentes. Os efeitos aleatórios não. O custo do uso dos efeitos fixos mais flexíveis é que você não pode estimar o coeficiente em variáveis ​​que são invariantes no tempo (como sexo, religião ou raça).

NB Outros campos têm sua própria terminologia, o que pode ser bastante confuso.

Dimitriy V. Masterov
fonte
(-1) este não diz nada sobre a diferença matemática entre os efeitos fixos e aleatórios
macro
11
@Macro concordou. Antes disso, seria útil saber se a terminologia econômica é o que o OP está procurando. Eu deveria ter sido mais claro nisso.
22612 Dimitriy V. Masterov
ESTÁ BEM. Nesse caso, isso pode ser mais apropriado como um comentário, você não diria?
Macro
A afirmação "O custo do uso de efeitos fixos mais flexíveis é que você não pode estimar o coeficiente em variáveis ​​que são invariantes no tempo" simplesmente não é verdade. Acabei de fazer uma simulação em que você repetiu medições em indivíduos e um único preditor binário que não varia no tempo. Se você incluir um efeito fixo para ID e um para o preditor binário, certamente poderá estimar o coeficiente no preditor binário (embora, admito, se você não tiver muitas medidas repetidas, a estimativa terá um erro padrão grande).
Macro
3
Andrew Gelman (que não é economista), lista 5 definições distintas em seu artigo da ANOVA: stat.columbia.edu/~gelman/research/published/banova7.pdf .
precisa saber é o seguinte
2

Em um pacote de software padrão (por exemplo, R's lmer), a diferença básica é:

  • efeitos fixos são estimados por máxima verossimilhança (mínimos quadrados para um modelo linear)
  • efeitos aleatórios são estimados por Bayes empírico (mínimos quadrados com alguma contração para um modelo linear, em que o parâmetro de contração é escolhido pela máxima probabilidade)

Se você está sendo bayesiano (por exemplo, WinBUGS), então não há diferença real.

Simon Byrne
fonte
3
Discordo totalmente de que não há diferença. Você pode ajustar um modelo de efeitos fixos bayesiano com todos os coeficientes com anteriores separados ou um modelo misto bayesiano onde há hiperparâmetros.
Erik
Se você está sendo bayesiano, a diferença se parece com isso .
conjugateprior
@ Simon é uma resposta precisa e crocante. Eu deveria ter mencionado isso há muito tempo.
Subhash C. Davar
-3

@Joke Um modelo de efeitos fixos implica que o tamanho do efeito gerado por um estudo (ou experimento) é fixo, isto é, medidas repetidas para uma intervenção resultam no mesmo tamanho de efeito. Presumivelmente, as condições externas e internas do experimento não mudam. Se você tiver vários estudos e / ou estudos sob diferentes condições, terá diferentes tamanhos de efeito. As estimativas paramétricas de média e variância para um conjunto de tamanhos de efeito podem ser realizadas presumindo-se que sejam efeitos fixos ou efeitos aleatórios (realizados a partir de uma superpopulação). Eu acho que é uma questão que pode ser resolvida com a ajuda da estatística matemática.

Subhash C. Davar
fonte