O que há de errado com os ajustes da Bonferroni?

Li o seguinte artigo: Perneger (1998) O que há de errado com os ajustes de Bonferroni .

O autor resumiu dizendo que o ajuste de Bonferroni tem, na melhor das hipóteses, aplicações limitadas na pesquisa biomédica e não deve ser usado na avaliação de evidências sobre hipóteses específicas:

Resumo pontos:

• Ajustar a significância estatística para o número de testes que foram realizados nos dados do estudo - o método Bonferroni - cria mais problemas do que resolve
• O método Bonferroni se preocupa com a hipótese nula geral (que todas as hipóteses nulas são verdadeiras simultaneamente), que raramente são de interesse ou de uso para pesquisadores
• A principal fraqueza é que a interpretação de uma descoberta depende do número de outros testes realizados
• A probabilidade de erros do tipo II também aumenta, de modo que diferenças realmente importantes são consideradas não significativas
• Simplesmente descrever quais testes de significância foram realizados e por que geralmente é a melhor maneira de lidar com múltiplas comparações.

Eu tenho o seguinte conjunto de dados e desejo fazer várias correções de teste, MAS não consigo decidir o melhor método nesse caso.

Quero saber se é imperativo fazer esse tipo de correção para todos os conjuntos de dados que contêm listas de médias e qual é o melhor método para a correção nesse caso?

O que há de errado com a correção de Bonferroni, além do conservadorismo mencionado por outros, é o que está errado com todas as correções de multiplicidade. Eles não seguem os princípios estatísticos básicos e são arbitrários; não existe uma solução única para o problema da multiplicidade no mundo freqüentista. Em segundo lugar, os ajustes de multiplicidade são baseados na filosofia subjacente de que a veracidade de uma afirmação depende de quais outras hipóteses são consideradas. Isso é equivalente a uma configuração bayesiana, na qual a distribuição anterior de um parâmetro de interesse fica cada vez mais conservadora à medida que outros parâmetros são considerados. Isso não parece ser coerente. Pode-se dizer que essa abordagem vem de pesquisadores que foram "queimados" por uma história de experimentos falsos positivos e agora eles querem compensar seus erros.

Para expandir um pouco, considere a seguinte situação. Um pesquisador de oncologia fez uma carreira no estudo da eficácia de quimioterapias de uma determinada classe. Todos os 20 anteriores de seus ensaios randomizados resultaram em eficácia estatisticamente insignificante. Agora ela está testando uma nova quimioterapia na mesma classe. O benefício de sobrevivência é significativo com $P=0.04$. Um colega ressalta que houve um segundo desfecho estudado (retração do tumor) e que um ajuste de multiplicidade precisa ser aplicado ao resultado da sobrevida, gerando um benefício insignificante de sobrevida. Como o colega enfatizou o segundo ponto final, mas não se importou em ajustar-se às 20 tentativas anteriores fracassadas de encontrar um medicamento eficaz? E como você levaria em conta o conhecimento prévio dos 20 estudos anteriores se não fosse bayesiano? E se não houvesse um segundo ponto final. O colega acreditaria que um benefício de sobrevivência foi demonstrado, ignorando todo o conhecimento anterior?

Ele resumiu dizendo que o ajuste de Bonferroni tem, na melhor das hipóteses, aplicações limitadas na pesquisa biomédica e não deve ser usado na avaliação de evidências sobre hipóteses específicas.

A correção de Bonferroni é uma das técnicas de comparações múltiplas mais simples e mais conservadoras. É também uma das mais antigas e foi aprimorada bastante ao longo do tempo. É justo dizer que os ajustes da Bonferroni têm aplicação limitada em quase todas as situações. Há quase certamente uma abordagem melhor. Ou seja, você precisará corrigir várias comparações, mas pode escolher um método que seja menos conservador e mais poderoso.

Menos conservador

Os métodos de comparações múltiplas protegem contra a obtenção de pelo menos um falso positivo em uma família de testes. Se você realizar um teste no nível , estará permitindo uma chance de 5% de obter um falso positivo. Em outras palavras, você rejeita sua hipótese nula erroneamente. Se você executar 10 testes no nível α = 0,05 , isso aumentará para 1 - ( 1 - 0,05 ) 10 = ~ 40% de chance de obter um falso positivo$\alpha$$\alpha = 0.05$$1-(1-0.05)^{10}$

Com o método Bonferroni, você usa um na extremidade mais baixa da escala (ie α b = α / n ) para proteger sua família de n testes no nível α . Em outras palavras, é o mais conservador. Agora, você pode aumentar α b acima do limite inferior estabelecido por Bonferroni (ou seja, tornar seu teste menos conservador) e ainda proteger sua família de testes no nível α . Há muitas maneiras de fazer isso, o método Holm-Bonferroni, por exemplo ou melhor ainda, Taxa de descoberta falsa$\alpha_b$$\alpha_b = \alpha/n$$n$$\alpha$$\alpha_b$$\alpha$

Mais poderoso

Um bom ponto levantado no artigo mencionado é que a probabilidade de erros do tipo II também aumenta, de modo que diferenças realmente importantes são consideradas não significativas.

Isto é muito importante. Um teste poderoso é aquele que encontra resultados significativos, se existirem. Ao usar a correção Bonferroni, você acaba com um teste menos poderoso. Como Bonferroni é conservador, é provável que o poder seja consideravelmente reduzido. Novamente, um dos métodos alternativos, por exemplo, Taxa de descoberta falsa, aumentará a potência do teste. Em outras palavras, além de proteger contra falsos positivos, você também melhora sua capacidade de encontrar resultados realmente significativos.

Então, sim, você deve aplicar alguma técnica de correção quando tiver várias comparações. E sim, Bonferroni provavelmente deveria ser evitado em favor de um método menos conservador e mais poderoso

Thomas Perneger não é estatístico e seu trabalho está cheio de erros. Então, eu não levaria isso muito a sério. Na verdade, tem sido fortemente criticado por outros. Por exemplo, Aickin disse que o artigo de Perneger "consiste quase inteiramente de erros": Aickin, "Existe outro método para o ajuste de testes múltiplos", BMJ. 1999 9 de janeiro; 318 (7176): 127.

Além disso, nenhum dos valores-p na pergunta original é <0,05, mesmo sem o ajuste de multiplicidade. Portanto, provavelmente não importa qual ajuste (se houver) é usado.

Talvez seja bom explicar o "raciocínio por trás" de várias correções de testes como a de Bonferroni. Se isso estiver claro, você poderá se julgar se deve aplicá-las ou não.

$\mu$$H_0: \mu=0$

$H_1: \mu \ne 0$$H_0: \mu = 0$$\alpha$

$H_0$$H_0$

$H_0$$H_0$$H_1$

A evidência falsa é uma coisa ruim na ciência porque acreditamos ter adquirido conhecimento verdadeiro sobre o mundo, mas, na verdade, podemos ter tido má sorte com a amostra. Esse tipo de erro deve, consequentemente, ser controlado. Portanto, deve-se colocar um limite superior na probabilidade desse tipo de evidência ou controlar o erro do tipo I. Isso é feito mediante a fixação antecipada de um nível de significância aceitável.

$5\%$$H_0$$5\%$$H_0$$H_1$$H_1$

$H_0: \mu_1=0 \& \mu_2=0$$H_1: \mu1 \ne 0 | \mu_2 \ne 0$$\alpha=0.05$

$H_0^{(1)}: \mu_1=0$$H_0^{(1)}: \mu_1 \ne 0$$H_1^{(2)}: \mu_2=0$$H_1^{(2)}: \mu_2 \ne 0$$\alpha=0.05$

$H_0^{(1)}$$H_0^{(1)}$

$1-(1-0.05)^2=0.0975$$\alpha$

O fato importante aqui é que os dois testes são baseados em uma amostra e na amostra!

Note que assumimos independência. Se você não pode assumir a independência, pode mostrar, usando a desigualdade de Bonferroni $, que o erro do tipo I pode inflar até 0,1.

Observe que Bonferroni é conservador e que o procedimento passo a passo de Holm se mantém sob as mesmas premissas que para Bonferroni, mas o procedimento de Holm tem mais poder.

Quando as variáveis ​​são discretas, é melhor usar as estatísticas de teste com base no valor-p mínimo e se você estiver pronto para abandonar o controle de erros do tipo I ao fazer um grande número de testes, os procedimentos da Taxa de descoberta falsa podem ser mais poderosos.

EDIT:

Se, por exemplo, (veja o exemplo na resposta de @Frank Harrell)

$H_0^{(1)}: \mu_1=0$$H_1^{(1)}: \mu_1 \ne 0$

$H_0^{(2)}: \mu_1=0$$H_1^{(2)}: \mu_2 \ne 0$

$H_0^{(12)}: \mu_1=0 \& \mu_2 = 0$$H_1^{(12)}: \mu_1 \ne 0 | \mu_2 \ne 0$

$H_0^{(1)}$$H_1^{(1)}$$H_0^{(2)}$$H_1^{(2)}$

Uma boa discussão sobre a correção de Bonferroni e o tamanho do efeito http://beheco.oxfordjournals.org/content/15/6/1044.full.pdf+html Além disso, vale a pena considerar a correção de Dunn-Sidak e a abordagem de probabilidades combinadas de Fisher como alternativas. Independentemente da abordagem, vale a pena relatar valores-p ajustados e brutos, além do tamanho do efeito, para que o leitor possa ter a liberdade de interpretá-los.

Por um lado, é extremamente conservador. O método Holm-Bonferroni realiza o que o método Bonferonni realiza (controle da taxa de erros sábios da família), além de ser uniformemente mais poderoso.

Deve-se considerar os métodos da "Taxa de descoberta falsa" como uma alternativa menos conservadora para Bonferroni. Vejo

John D. Storey, "A FALSA POSITIVA TAXA DE DESCOBERTA: UMA INTERPRETAÇÃO BAYESIANA EO VALOR q", "The Annals of Statistics 2003, vol. 31, nº 6, 2013-2035.