A ANOVA está confiando no método dos momentos e não na probabilidade máxima?

13

Vejo mencionado em vários lugares que a ANOVA faz sua estimativa usando o método dos momentos.

Estou confuso com essa afirmação porque, embora não esteja familiarizado com o método dos momentos, meu entendimento é que é algo diferente e não equivalente ao método da máxima probabilidade; por outro lado, a ANOVA pode ser vista como uma regressão linear com preditores categóricos e a estimativa do OLS dos parâmetros de regressão é a máxima probabilidade.

Então:

  1. O que qualifica os procedimentos ANOVA como o método dos momentos?

  2. Dado que a ANOVA é equivalente à OLS com preditores categóricos, não é a máxima probabilidade?

  3. Se esses dois métodos de alguma forma se tornarem equivalentes no caso especial da ANOVA usual, há algumas situações específicas da ANOVA em que a diferença se torna importante? Design desequilibrado? Medidas repetidas? Design misto (entre sujeitos + dentro dos sujeitos)?

ameba diz Restabelecer Monica
fonte
4
No cenário simples, e por simples, quero dizer ANOVA de uma e duas vias, a ANOVA é derivada de um LRT sob distribuições normais com variações iguais, portanto é a probabilidade máxima usada. Obviamente, no caso normal, os estimadores mle e mom coincidem, portanto a distinção não é de grande importância. Nas configurações mais complexas, no entanto, em vez de derivar LRTs, contamos com a regressão OLS. O OLS é apenas o campo sob uma distribuição normal e é um estimador-mãe no cenário mais geral, se impusermos a ortogonalidade com os resíduos que são.
JohnK
1
@ JohnK, muito obrigado pelo seu comentário, mas tenho dificuldade em entender algumas partes dele, em particular a segunda parte: quais são as "configurações mais complexas" nas quais a ANOVA depende do OLS em vez do LRT (e por que)? Por que o OLS não é MLE nessa "configuração mais geral" - eu pensei que erros normais sempre são assumidos em qualquer cenário da ANOVA? O que a ortogonalidade com os resíduos tem para fazer isso? Eu aprecio muito se você expandir seu comentário em uma resposta.
Ameba diz Reinstate Monica
2
@ameba. Editei minha resposta para abordar seu primeiro ponto sobre a ANOVA ser um método de estimador de momentos. Isso é verdade apenas para efeitos aleatórios.
Placidia

Respostas:

12

Eu encontrei a ANOVA pela primeira vez quando eu era estudante de mestrado em Oxford em 1978. As abordagens modernas, ensinando variáveis ​​contínuas e categóricas juntas no modelo de regressão múltipla, dificultam para os estatísticos mais jovens entenderem o que está acontecendo. Portanto, pode ser útil voltar a tempos mais simples.

Na sua forma original, a ANOVA é um exercício de aritmética em que você divide a soma total de quadrados em partes associadas a tratamentos, bloqueios, interações, o que for. Em uma configuração equilibrada, somas de quadrados com um significado intuitivo (como SSB e SST) somam a soma total ajustada de quadrados. Tudo isso funciona graças ao Teorema de Cochran . Usando Cochran, você pode calcular os valores esperados desses termos sob as hipóteses nulas usuais e as estatísticas F fluem a partir daí.

Como um bônus, uma vez que você começa a pensar em Cochran e somas de quadrados, faz sentido continuar fatiando e cortando suas somas de tratamento com quadrados usando contrastes ortogonais. Cada entrada na tabela ANOVA deve ter uma interpretação de interesse para o estatístico e gerar uma hipótese testável.

Recentemente, escrevi uma resposta em que surgiu a diferença entre os métodos MOM e ML. A questão ativou a estimativa de modelos de efeitos aleatórios. Nesse ponto, a abordagem tradicional da ANOVA separa totalmente a empresa com estimativa de máxima verossimilhança, e as estimativas dos efeitos não são mais as mesmas. Quando o design está desequilibrado, você também não obtém as mesmas estatísticas F.

σp2σ2σ2+nσp2nσb2^. A ANOVA produz um método de estimador de momentos para a variação do efeito aleatório. Agora, tendemos a resolver esses problemas com modelos de efeitos mistos e os componentes de variância são obtidos através da estimativa de máxima verossimilhança ou REML.

A ANOVA como tal não é um método de procedimento de momentos. Ele ativa a divisão da soma dos quadrados (ou mais geralmente, uma forma quadrática da resposta) em componentes que produzem hipóteses significativas. Depende fortemente da normalidade, pois queremos que as somas de quadrados tenham distribuições qui-quadrado para que os testes F funcionem.

A estrutura de máxima verossimilhança é mais geral e se aplica a situações como modelos lineares generalizados em que somas de quadrados não se aplicam. Alguns softwares (como R) provocam confusão ao especificar métodos anova para testes de razão de verossimilhança com distribuições qui-quadrado assintóticas. Pode-se justificar o uso do termo "anova", mas estritamente falando, a teoria por trás dele é diferente.

Placidia
fonte
2
O teste F da ANOVA unidirecional e bidirecional é um teste de razão de verossimilhança e você pode consultar Hogg e Craig, Introdução à estatística matemática, capítulo 9, se não acredita em mim. Além disso, o teste F usado na regressão normal também é um LRT, numerosas referências para isso lá fora.
JohnK
1
Vou verificar. Por enquanto, removi o parágrafo.
Placidia
1
+1, muito obrigado pela resposta. É exatamente a sua resposta vinculada que acionou a minha pergunta, a propósito. Há muitas coisas que não entendo direito no que você escreveu. Vou viajar no Ano Novo e não tenho tempo para pensar nisso, mas voltarei a esse segmento assim que voltar em janeiro. Enquanto isso, gostaria mais uma vez de incentivar o @JohnK a postar uma resposta expandindo os pontos que ele fez nos comentários. Eu particularmente aprecio alguma explicação mais técnica, talvez com um exemplo específico. Feliz Natal e Feliz Ano Novo para todos vocês!
Ameba diz Reinstate Monica
1
Feliz Natal para você também. No meu post vinculado, eu estava pensando sobre a estimativa da variação do efeito aleatório, que é o MOM na abordagem tradicional. Desculpe se minha observação soou mais geral do que eu pretendia.
Placidia
2
Depois de 1,5 anos, reli sua resposta e percebi que é bem claro, então finalmente a marquei como aceita :-) Felicidades.
Ameba diz Reinstate Monica