Extensão da correção de vários testes

Um pouco de uma pergunta estranha. Na minha aula de bioestatística do quarto ano de hoje, estávamos discutindo quando e quando não usar a correção de testes múltiplos, e o professor fez um comentário imediato. Ele perguntou por que não corrigimos todos os testes que já fizemos desde que começamos a fazer estatísticas, pois eles são todos (principalmente) independentes e cada vez que observamos um resultado, aumentamos nossa probabilidade de obter um falso positivo. Ele riu depois, mas por que não fazemos isso? Não estou dizendo que deveríamos, porque obviamente é ridículo, mas até onde é longe demais quando se trata de corrigir os testes?

Vamos assumir alfa = 0,05 por simplicidade e dizer que cada teste A, B e C não está sob nenhum tipo de dependência e, portanto, independente. Se eu me sento e testo A, B e C, sejam eles testes T ou o que seja, obviamente tenho que ajustar a correção múltipla, porque estou levando 0,95 à potência de três e minhas chances de conseguir um foguete falso positivo. No entanto, se eu fizer A, B e C em dias diferentes, dentro dos contextos de procedimentos diferentes, e extrair resultados diferentes deles, como isso é diferente da situação anterior? Ainda estamos observando os três testes, eles ainda são independentes.

O que estou tentando alcançar é o limite lógico em que dizemos parar de fazer várias correções de teste. Devemos fazê-lo apenas para uma família de testes ou para todo um artigo ou para todos os testes que já executamos? Eu entendo como usar a correção de vários testes e usar FDR / Bonferonni no trabalho o tempo todo. Esse conceito meio que levou minha cabeça em círculos.

Obrigado pelo seu tempo.

Editar: Há uma discussão prolongada sobre esse problema em uma pergunta mais recente .

Acho que a resposta para sua pergunta é que a correção múltipla depende do contexto do problema que você está resolvendo. Se você considerar primeiro os testes a priori e os post-hoc , poderá ver onde a correção de vários testes entra em jogo.

Digamos que você formule uma única hipótese, colete dados e teste a hipótese. Não há necessidade de corrigir neste caso, obviamente. Se você decidir, a priori, realizar dois ou mais testes no conjunto de dados, poderá ou não corrigir vários testes. A correção pode ser diferente para cada teste e pode ser selecionada usando o seu conhecimento de domínio. Por outro lado, você pode simplesmente usar um dos métodos de correção habituais. Testes a priori são geralmente pequenos em número. Se você tiver um grande número de hipóteses para testes, poderá decidir sobre tamanhos de amostras maiores, amostras diferentes, etc. etc. Em outras palavras, você pode projetar seu experimento para oferecer a melhor chance possível de tirar conclusões corretas de suas hipóteses.

Testes post-hoc , por outro lado, são realizados em um conjunto de dados sem nenhuma hipótese específica em mente. Você é uma dragagem de dados até certo ponto e certamente precisará aplicar a correção Bonferroni ou FDR (ou a sua favorita).

Como diferentes conjuntos de dados coletados ao longo da sua vida (ou para um artigo) geralmente são independentes e fazem perguntas diferentes, não deve haver necessidade de se preocupar em corrigir todos os testes já realizados. Lembre-se de que várias correções protegem contra erros familiares (ou seja, proteção para uma família de testes) em vez de erros de testes individuais. Se você puder agrupar logicamente seus testes em famílias, acho que você encontrará limites de comparações múltiplas adequados para essas famílias.

Você pode pensar na taxa de erro familiar (FWER; para obter mais informações, consulte este artigo ). Eu diria que se você executar uma única experiência para testar A, B e C, deverá aplicar a correção de vários testes. Se você executar uma experiência separada para cada A, B e C, nenhuma correção será necessária.

Você pode estar se perguntando por que precisamos controlar a taxa de erros por experiência. Aqui está a minha opinião. Imagine que alguma instituição do tipo NIH ou FDA determine que você corrige todos os testes que você já fez. Considere que você executa uma experiência com um único teste, e essa é sua primeira experiência. Nenhum ajuste será necessário aqui. Agora considere que você execute uma nova experiência novamente com um único teste, mas desta vez é a sua experiência. Então você teria que usar de 0,05 / 1.000 = 0,00005! Quem gostaria de realizar experimentos com um tão baixo ? Portanto, meu palpite é que, quando Tukey propôs a taxa de erro do experimento, ele poderia querer ser justo com cada experimento, já que cada experimento gasta dinheiro, tempo e recursos.$1,000^{th}$$\alpha$$\alpha$