Quão conservadora é a correção de testes múltiplos de Benjamini-Hochberg em relação ao número total de comparações? Por exemplo, se eu tiver uma lista de 18.000 recursos para dois grupos e executar um teste de Wilcoxon para obter um valor-p. Eu ajusto esse valor-p usando Benjamini-Hochberg e quase nada sai como significativo.
Sei que a correção de Bonferroni pode ser bastante conservadora à medida que o número de comparações aumenta, Benjamini-Hochberg tem a mesma propriedade?
multiple-comparisons
p-value
user4673
fonte
fonte
Respostas:
Primeiro, você precisa entender que esses dois procedimentos de teste múltiplos não controlam a mesma coisa. Usando seu exemplo, temos dois grupos com 18.000 variáveis observadas e você faz 18.000 testes para identificar algumas variáveis que são diferentes de um grupo para outro.
A correção de Bonferroni controla a taxa de erro Familywise , que é a probabilidade, assumindo que todas as 18.000 variáveis têm distribuição idêntica nos dois grupos, que você está afirmando falsamente "aqui tenho algumas diferenças significativas". Geralmente, você decide que, se essa probabilidade for <5%, sua reivindicação será credível.
A correção de Benjamini-Hochberg controla a taxa de descoberta falsa , ou seja, a proporção esperada de falsos positivos entre as variáveis para as quais você reivindica a existência de uma diferença. Por exemplo, se com FDR controlado para 5%, 20 testes são positivos "em média" apenas 1 desses testes será um falso positivo.
Agora, quando o número de comparação aumenta ... bem, isso depende do número de hipóteses nulas marginais que são verdadeiras. Mas basicamente, com os dois procedimentos, se você tiver algumas, digamos 5 ou 10, variáveis verdadeiramente associadas, você terá mais chances de detectá-las entre 100 variáveis do que entre 1.000.000 de variáveis. Isso deve ser intuitivo o suficiente. Não há como evitar isso.
fonte