Precisamos de um teste global antes dos testes post hoc?

Costumo ouvir que testes post hoc após uma ANOVA só podem ser usados ​​se a própria ANOVA for significativa.

• No entanto, testes post hoc ajustam os valores de para manter a taxa de erro global do tipo I em 5%, não é?$p$
• Então, por que precisamos primeiro do teste global?

• Se não precisamos de um teste global, a terminologia "post hoc" está correta?

• Ou existem vários tipos de testes post hoc, alguns assumindo um resultado global significativo e outros sem essa suposição?

Como vários testes de comparação costumam ser chamados de 'pós-testes', você acha que eles seguem logicamente a ANOVA de mão única. De fato, não é assim.

" Uma prática comum infeliz é buscar comparações múltiplas somente quando a hipótese de homogeneidade do casco é rejeitada " ( Hsu, página 177 )

Os resultados dos pós-testes serão válidos se o valor geral de P para a ANOVA for maior que 0,05?

Surpreendentemente, a resposta é sim. Com uma exceção, os pós-testes são válidos mesmo que a ANOVA geral não tenha encontrado uma diferença significativa entre as médias.

A exceção é o primeiro teste de comparação múltipla inventado, o teste de diferença mínima significativa de Fisher (LSD). A primeira etapa do teste de LSD protegido é verificar se a ANOVA geral rejeita a hipótese nula de médias idênticas. Caso contrário, comparações individuais não devem ser feitas. Mas esse teste de LSD protegido está obsoleto e não é mais recomendado.

É possível obter um resultado "significativo" de um teste de comparações múltiplas, mesmo quando a ANOVA geral não foi significativa?

Sim, é possível. A exceção é o teste de Scheffe. Está entrelaçado com o teste F geral. Se a ANOVA geral tiver um valor de P superior a 0,05, o teste de Scheffe não encontrará pós-testes significativos. Nesse caso, executar pós-testes após uma ANOVA geral não significativa é uma perda de tempo, mas não leva a conclusões inválidas. Mas outros testes de comparação múltipla podem encontrar diferenças significativas (às vezes), mesmo quando a ANOVA geral não mostrou diferenças significativas entre os grupos.

Como posso entender a aparente contradição entre uma ANOVA dizendo, com efeito, que todos os meios de grupo são idênticos e um pós-teste encontrou diferenças?

A ANOVA unidirecional geral testa a hipótese nula de que todos os grupos de tratamento têm valores médios idênticos; portanto, qualquer diferença que você observe é devido a amostragem aleatória. Cada pós-teste testa a hipótese nula de que dois grupos específicos têm médias idênticas.

Os pós-testes são mais focados, portanto, têm poder para encontrar diferenças entre os grupos, mesmo quando a ANOVA geral relata que as diferenças entre as médias não são estatisticamente significativas.

Os resultados da ANOVA geral são úteis?

A ANOVA testa a hipótese nula geral de que todos os dados são provenientes de grupos com médias idênticas. Se essa é sua pergunta experimental - os dados fornecem evidências convincentes de que os meios não são todos idênticos -, então a ANOVA é exatamente o que você deseja. Mais frequentemente, suas perguntas experimentais são mais focadas e respondidas por vários testes de comparação (pós-testes). Nesses casos, você pode ignorar com segurança os resultados gerais da ANOVA e pular direto para os resultados do pós-teste.

Observe que todos os cálculos de comparação múltipla usam o resultado do quadrado médio da tabela ANOVA. Portanto, mesmo que você não se importe com o valor de F ou P, os pós-testes ainda exigem que a tabela ANOVA seja computada.

(1) Os testes post hoc podem ou não atingir a taxa de erro nominal global do tipo I, dependendo de (a) se o analista está ajustando o número de testes e (b) até que ponto os testes post-hoc são independentes de um outro. A aplicação de um teste global primeiro é uma proteção bastante sólida contra o risco de (mesmo que inadvertidamente) descobrir resultados "significativos" espúrios de bisbilhoteiros post-hoc .

(2) Há um problema de poder. É sabido que um teste F ANOVA global pode detectar uma diferença de médias, mesmo nos casos em que nenhum teste t individual de qualquer um dos pares de médias produzirá um resultado significativo. Em outras palavras, em alguns casos, os dados podem revelar que os meios verdadeiros provavelmente diferem, mas não conseguem identificar com confiança suficiente quais pares de médias diferem.