36

Benjamini e Hochberg desenvolveram o primeiro (e ainda mais utilizado, eu acho) método para controlar a taxa de falsas descobertas (FDR).

Quero começar com um monte de valores P, cada um para uma comparação diferente, e decidir quais são baixos o suficiente para serem chamados de "descoberta", controlando o FDR para um valor especificado (digamos 10%). Uma suposição do método usual é que o conjunto de comparações seja independente ou tenha "dependência positiva", mas não consigo descobrir exatamente o que essa frase significa no contexto da análise de um conjunto de valores de P.

multiple-comparisons non-independent false-discovery-rate Harvey Motulsky
fonte

1

Obrigado por conceder a recompensa à minha resposta, Harvey! Você diria que ele resolve esse problema ou está procurando uma exposição mais detalhada? Percebi que você ainda não aceitou nenhuma resposta, por isso gostaria de esclarecer. Obrigado. Talvez você possa comentar ou editar seu Q para esclarecer o que ainda gostaria de esclarecer.

Ameba diz Reinstate Monica

2

@ameba. O prazo para a recompensa estava próximo de mim, e sua resposta foi de longe a melhor. Francamente, nunca me ocorreu naquele momento que dar uma recompensa também não estava aceitando a resposta. Mas eu sei que essas são distintas (vou culpar o jet lag). Mas uma resposta completa realmente precisa incluir exemplos realistas em que o conjunto de valores de P tenha e não tenha dependência positiva. Vou deixar de aceitar uma resposta por uma semana na esperança de que alguém possa dar os dois tipos de exemplos, para que o significado seja claro.

Harvey Motulsky

Provavelmente, esse não é realmente um exemplo satisfatório, mas é realmente fácil obter valores-p com e sem dependência positiva se pensarmos em realizar testes unilaterais em variáveis correlacionadas. Imagine que estou testando se A = 0 e também se B = 0 em relação às alternativas unicaudais (A> 0 e B> 0). Imagine ainda que B depende de A. Por exemplo, imagine que eu queira saber se uma população contém mais mulheres que homens e também se a população contém mais ovários que testículos. O conhecimento claro do valor-p da primeira pergunta altera nossa expectativa em relação ao valor-p da segunda

Jacob Socolar 29/17

Obrigado, Harvey. Espero que fique claro que eu não estava tentando pressioná-lo a aceitar minha resposta (!!), mas a esclarecer que tipo de resposta você está procurando neste tópico e o que você ainda gostaria de ter esclarecido. Eu não sou realmente um especialista neste tópico, apenas tentando entender o sentido.

Ameba diz Reinstate Monica

Ambos os valores p mudam na mesma direção, e isso é PRD. Mas se eu testar a segunda hipótese de que a população 2 tem mais testículos que ovários, nossa expectativa para o segundo valor p diminui à medida que o primeiro valor p aumenta. Isso não é PRD.

Jacob Socolar 29/03

20

Desde a sua pergunta e, em particular, os seus comentários a outras respostas, parece-me que você está confuso, principalmente, sobre a "grande figura" aqui, a saber: o que significa "dependência positiva" referem-se neste contexto a todos - ao contrário do que é o significado técnico da condição PRDS. Então, eu vou falar sobre o quadro geral.

A grande imagem

Imagine que você está testando hipóteses nulas e imagine que todas elas são verdadeiras. Cada um dos -Valores é uma variável aleatória; repetir repetidamente o experimento produziria um valor- cada vez, para que se possa falar sobre uma distribuição de valores- (sob o nulo). É sabido que, para qualquer teste, uma distribuição de valores- sob o nulo deve ser uniforme; portanto, no caso de teste multiplte, todas as distribuições marginais de valores- serão uniformes. $N$ $N$ $p$ $p$ $p$ $p$ $N$ $p$

Se todos os dados e todos os testes forem independentes, a distribuição conjunta dimensional dos valores- também será uniforme. Isso será verdade, por exemplo, em uma situação clássica de "jujuba", quando várias coisas independentes estão sendo testadas: $N$ $N$ $p$

No entanto, não precisa ser assim. Qualquer par de valores- pode, em princípio, ser correlacionado, positivo ou negativamente, ou ser dependente de uma maneira mais complicada. Considere testar todas as diferenças aos pares nas médias entre quatro grupos; este é ensaios. Cada um dos seis valores de sozinho é distribuído uniformemente. Mas eles estão todos correlacionados positivamente: se (em uma determinada tentativa) o grupo A, por acaso, tiver uma média particularmente baixa, a comparação A vs B pode produzir um valor baixo (isso seria um falso positivo). Mas nessa situação, é provável que A-vs-C, assim como A-vs-D, também produza baixo $p$ $N=4\cdot 3/2=6$ $p$ $p$ $p$ -valores. Portanto, os valores de são obviamente não independentes e, além disso, estão positivamente correlacionados entre si. $p$

É informalmente a que "dependência positiva" se refere.

Essa parece ser uma situação comum em vários testes. Outro exemplo seria testar as diferenças em várias variáveis correlacionadas entre si. Obter uma diferença significativa em um deles aumenta as chances de obter uma diferença significativa em outro.

É difícil criar um exemplo natural em que os valores de sejam "negativamente dependentes". @ user43849 comentou nos comentários acima que é fácil para testes unilaterais: $p$

Imagine que estou testando se A = 0 e também se B = 0 em relação às alternativas unicaudais (A> 0 e B> 0). Imagine ainda que B depende de A. Por exemplo, imagine que eu queira saber se uma população contém mais mulheres que homens e também se a população contém mais ovários que testículos. O conhecimento claro do valor-p da primeira pergunta altera nossa expectativa do valor-p para a segunda. Ambos os valores p mudam na mesma direção, e isso é PRD. Mas se eu testar a segunda hipótese de que a população 2 tem mais testículos que ovários, nossa expectativa para o segundo valor p diminui à medida que o primeiro valor p aumenta. Isso não é PRD.

Mas até agora não consegui encontrar um exemplo natural com nulos de ponto.

Agora, a formulação matemática exata da "dependência positiva" que garante a validade do procedimento de Benjamini-Hochberg é bastante complicada. Como mencionado em outras respostas, a principal referência é Benjamini & Yekutieli 2001 ; eles mostram que a propriedade PRDS ("dependência de regressão positiva de cada um de um subconjunto") implica o procedimento de Benjamini-Hochberg. É uma forma descontraída da propriedade PRD ("dependência de regressão positiva"), o que significa que o PRD implica PRDS e, portanto, também implica o procedimento de Benjamini-Hochberg.

Para as definições de PRD / PRDS, consulte a resposta de @ user43849 (+1) e o artigo de Benjamini & Yekutieli. As definições são bastante técnicas e não tenho uma boa compreensão intuitiva delas. De fato, B&Y menciona vários outros conceitos relacionados: positividade total multivariada de ordem dois (MTP2) e associação positiva. De acordo com B&Y, eles estão relacionados da seguinte forma (o diagrama é meu):

$\hskip{10em}$

MTP2 implica PRD que implica PRDS que garante a correção do procedimento de BH. PRD também implica PA, mas PA PRDS. $\ne$

ameba diz Restabelecer Monica
fonte

Um exemplo de dependência negativa seria testes post hoc em pares após, digamos, uma ANOVA de três grupos, em que

, mas

, enquanto

e

, portanto, enquanto

μ_{A} < μ_{B} < μ_{C}

$\mu_{A} < \mu_{B} < \mu_{C}$

{\bar{x}}_{B} < μ_{B}

$\bar{x}_{B} < \mu_{B}$

{\bar{x}}_{A} \approx μ_{A}

$\bar{x}_{A}\approx \mu_{A}$

{\bar{x}}_{C} \approx μ_{C}

$\bar{x}_{C}\approx \mu_{C}$

p_{A vs. B}

$p_{A\text{ vs. }B}$ é menos provável de rejeitar (porque em

H_{0}

$H_{0}$

), mas devido à dependência

temmaisprobabilidade de rejeitar?

| {\bar{x}}_{A} - {\bar{x}}_{B} | < | {\bar{x}}_{B} - {\bar{x}}_{C} |

$|\bar{x}_{A}-\bar{x}_{B}| < |\bar{x}_{B}-\bar{x}_{C}|$

p_{B vs. C}

$p_{B\text{ vs. }C}$

Alexis #

1

@ Alexis Eu estava pensando nesse sentido, mas não acho que isso funcione porque precisamos considerar o que acontece sob o nulo . Nesse caso, o nulo é que

e, portanto, seu raciocínio é interrompido.

μ_{A} = μ_{B} = μ_{C}

$\mu_A=\mu_B=\mu_C$

Ameba diz Reinstate Monica

Portanto, se for difícil pensar em situações de dependência negativa, o procedimento de Benjamini-Hochberg é válido para situações como testes post-hoc em pares após a rejeição de uma hipótese nula omnibus em relação a grupos independentes (por exemplo, caminho não bloqueado ANOVA, Cochran's Q, Kruskal- Wallis, etc.)?

Alexis4

@ Alexis Eu acredito que isso está correto, sim. Eu ainda estou tentando chegar a um exemplo natural com dependência negativa ...

ameba diz Reinstate Monica

ROCHA! Você vai garota! :) (Para significados sem gênero da palavra "garota";).

Alexis4

18

Ótima pergunta! Vamos recuar e entender o que Bonferroni fez e por que era necessário que Benjamini e Hochberg desenvolvessem uma alternativa.

Tornou-se necessário e obrigatório nos últimos anos executar um procedimento chamado correção de teste múltiplo. Isso se deve ao número crescente de testes sendo realizados simultaneamente com ciências de alto rendimento, especialmente em genética com o advento de estudos de associação de todo o genoma (GWAS). Desculpe minha referência à genética, pois é minha área de trabalho. Se estivermos executando 1.000.000 de testes simultaneamente em , que seria de esperar falsos positivos. Isso é ridiculamente grande e, portanto, devemos controlar o nível em que a significância é avaliada. A correção de Bonferroni, ou seja, dividindo o limite de aceitação (0,05) pelo número de testes independentes $P = 0.05$ $50,000$ corrige a taxa de erro familiar ( ). $(0.05/M)$ $FWER$

Isto é verdade porque a FWER está relacionada com a taxa de erro de teste-sábio ( ) através da equação . Ou seja, 100% menos 1 subtrai a taxa de erro sábia do teste aumentada à potência do número de testes independentes executados. Assumindo que $TWER$ $FWER = 1 - (1 - TWER)^M$ $(1- 0.05)^{1/M} = 1-\frac{0.05}{M}$ dá , que é o valor de aceitação P ajustado para M testes completamente independentes. $TWER \approx \frac{0.05}{M}$

O problema que encontramos agora, como Benjamini e Hochberg, é que nem todos os testes são completamente independentes. Assim, a correção de Bonferroni, embora robusta e flexível, é uma sobrecorreção . Considere o caso da genética em que dois genes estão ligados em um caso chamado desequilíbrio de ligação; isto é, quando um gene tem uma mutação, é mais provável que outro seja expresso. Obviamente, estes não são testes independentes, embora na correção bonferroni sejam assumidos . É aqui que começamos a ver que dividir o valor de P por M está criando um limite artificialmente baixo por causa de testes independentes assumidos que realmente influenciam um ao outro, criando um M muito grande para a nossa situação real, onde as coisas não acontecem. é independente.

O procedimento sugerido por Benjamini e Hochberg, e aumentado por Yekutieli (e muitos outros) é mais liberal que Bonferroni e, de fato, a correção de Bonferroni é usada apenas nos maiores estudos atualmente. Isso ocorre porque, em FDR, assumimos alguma interdependência por parte dos testes e, portanto, um M que é muito grande e irrealista e se livra dos resultados com os quais, na realidade, nos importamos. Portanto, no caso de 1000 testes que não são independentes, o verdadeiro M não seria 1000, mas algo menor por causa das dependências. Assim, quando dividimos 0,05 por 1000, o limite é muito rigoroso e evita alguns testes que podem ser interessantes.

Não tenho certeza se você se importa com a mecânica por trás do controle da dependência, embora, se o faça, vinculei o artigo de Yekutieli para sua referência. Também anexarei algumas outras coisas para sua informação e curiosidade.

Espero que isso tenha ajudado de alguma forma, se eu deturpou alguma coisa, por favor me avise.

~ ~ ~

Referências

Artigo de Yekutieli sobre dependências positivas - http://www.math.tau.ac.il/~ybenja/MyPapers/benjamini_yekutieli_ANNSTAT2001.pdf

(consulte 1.3 - O problema.)

Explicação de Bonferroni e outras coisas interessantes - Nature Genetics reviews. Teste estatístico de poder e significância em estudos genéticos em larga escala - Pak C Sham e Shaun M Purcell

(ver caixa 3.)

http://en.wikipedia.org/wiki/Familywise_error_rate

EDITAR:

Na minha resposta anterior, não defini diretamente dependência positiva, e foi o que foi perguntado. No artigo de Yekutieli, a seção 2.2é intitulada Dependência positiva, e eu sugiro isso, pois é muito detalhado. No entanto, acredito que podemos torná-lo um pouco mais sucinto.

O artigo começa falando de dependência positiva, usando-o como um termo vago que é interpretável, mas não específico. Se você ler as provas, o que é mencionado como dependência positiva é chamado PRSD, definido anteriormente como "Dependência de regressão positiva em cada um de um subconjunto ". é o subconjunto de testes que suportam corretamente a hipótese nula (0). O PRDS é então definido como a seguir. $I_0$ $I_0$

PRDS

$X$ $I_0$ $X$ $I_0$ $X$ $I_0$ $x$ $X$

$P$

Em suma, a propriedade da dependência positiva é realmente a propriedade da dependência de regressão positiva de todo o nosso conjunto de estatísticas de teste sobre o nosso conjunto de estatísticas verdadeiras de teste nulo, e controlamos um FDR de 0,05; portanto, à medida que os valores de P vão de baixo para cima (o procedimento de aumento), eles aumentam a probabilidade de fazer parte do conjunto nulo.

Minha resposta anterior nos comentários sobre a matriz de covariância não estava incorreta, apenas um pouco vaga. Espero que isso ajude um pouco mais.

Chris C
fonte

6

Obrigado. Você fornece uma visão geral clara de como controlar as taxas de erro familiares (Bonferroni etc.) versus controlar o FDR, mas ainda não entendo o que significa "dependência positiva". Considere que eu tenho valores de 1000 P, testando a expressão de 1000 genes diferentes comparando pessoas com e sem alguma doença. Eu uso o método BH para decidir quais dessas comparações são "descobertas". O que significa "dependência positiva" neste contexto?

precisa saber é o seguinte

9

Uma nota pequena, mas importante: Bonferroni não faz absolutamente nenhuma suposição sobre independência. De fato, ele será abordado corretamente no caso mutuamente exclusivo, que, de certa forma, está o mais longe possível da independência. Não é um procedimento de correção (Sidak) que assume independência e irá controlar mais fortemente FWER sob essa suposição. Alguns outros aspectos desta resposta também podem usar alguns retoques.

cardeal

2

@ Chrish Ainda não entendo. "Matriz de covariância entre elementos"? Começo com uma lista de valores P e quero decidir quais são baixos o suficiente para serem chamados de "descobertas" que vale a pena acompanhar (com o FDR controlado). Quais são os elementos da matriz de covariância? Digamos que cada valor de P esteja comparando a expressão de um gene em particular entre os grupos, e existem muitos desses genes. Para cada gene, no teste compara os grupos resultando em um valor de P. O que significa, nessa situação, "elementos variarem juntos" ou "correlações positivas entre si"?

Harvey Motulsky

2

@ChrisC Thanks. Tornou-se mais claro, mas ainda não entendi o que essa suposição significa. O ponto principal de saber sobre a suposição por trás do método é saber quando é provável que você o esteja violando. Portanto, ajudaria a listar alguns cenários em que a suposição não é verdadeira. Quando um valor P mais baixo não seria associado a uma maior probabilidade de a hipótese nula ser falsa?

Harvey Motulsky

1

Isso não responde à pergunta.

Alexis

10

Achei esta pré-impressão útil para entender o significado. Deve-se dizer que ofereço essa resposta não como especialista no tópico, mas como uma tentativa de entender a verificação e a validação da comunidade.

Obrigado à Amoeba por observações muito úteis sobre a diferença entre PRD e PRDS, consulte os comentários

$p$ $C$ $p$ $C$

$q$ $C$
$r$ $q$ $r$ $q$ $r_i < q_i$ $i$
$r$ $C$

$C$

$p$ $p_1 ... p_{n} < B_1 ... B_n$ $p$ $C$ $B_1 ... B_n$

$p_i$ $p_i$ $p_i$ $p_1 ... p_n$ $p_1 ... p_n$ $p_i$

$p_1 ... p_n$

$p_n$ $p_n < B$ $B$ $p_n < B$ $p_n < B$ $B$

Editado para adicionar:

Aqui está um exemplo putativo de um sistema que não é PRDS (código R abaixo). A lógica é que, quando as amostras a e b são muito semelhantes, é mais provável que seu produto seja atípico. Suspeito que esse efeito (e não a não uniformidade dos valores de p abaixo do nulo para a (a*b), (c*d)comparação) esteja direcionando a correlação negativa nos valores de p, mas não tenho certeza. O mesmo efeito aparece se fizermos um teste t para a segunda comparação (em vez de um Wilcoxon), mas a distribuição dos valores de p ainda não é uniforme, provavelmente devido a violações da suposição de normalidade.

ab <- rep(NA, 100000)  # We'll repeat the comparison many times to assess the relationships among p-values.
abcd <- rep(NA, 100000)

for(i in 1:100000){
  a <- rnorm(10)    # Draw 4 samples from identical populations.
  b <- rnorm(10)
  c <- rnorm(10)
  d <- rnorm(10)

  ab[i] <- t.test(a,b)$p.value          # We perform 2 comparisons and extract p-values
  abcd[i] <- wilcox.test((a*b),(c*d))$p.value
}

summary(lm(abcd ~ ab))    # The p-values are negatively correlated

ks.test(ab, punif)    # The p-values are uniform for the first test
ks.test(abcd, punif)   # but non-uniform for the second test.
hist(abcd)

Jacob Socolar
fonte

Sinto muito, mas eu realmente não sigo isso.

Harvey Motulsky

O novo parágrafo final esclarece tudo?

Jacob Socolar 26/03

@ Amoeba, sim, acho que você está certo. Os artigos de Yekutieli vinculados por pôsteres anteriores são tratamentos do PRDS. Até onde eu sei, o PRD é a mesma propriedade, mas em todas as estatísticas de teste (ou valores-p), não apenas no subconjunto correspondente a nulos verdadeiros.

Jacob Socolar 26/03

1

Sim, você está absolutamente certo. Editando agora.

Jacob Socolar 27/03/2017

1

Exemplo interessante, mas o efeito é super-fraco: obtenho um coeficiente de correlação (entre ab e abcd) em torno de -0,03 ... Mas não entendo: por que você diz isso "quando as amostras aeb são muito semelhantes , é mais provável que o produto seja atípico "?

Ameba diz Reinstate Monica

4

Benjamini e Yekutieli, em seu trabalho , fornecem alguns exemplos de como a dependência de regressão positiva (PRD) é diferente de apenas estar positivamente associada. O procedimento de controle do FDR se baseia em uma forma mais fraca de PRD, que eles chamam de PRDS (isto é, PRD em cada um de um subconjunto de variáveis).

A dependência positiva foi originalmente proposta na configuração bivariada por Lehmann , mas a versão multivariada desse conceito, conhecida como dependência de regressão positiva, é o que é relevante para vários testes.

Aqui está um trecho relevante da pág.6

$\mathbf{X}$ $(\mathbf{X}_1, \mathbf{X}_2)$ $\mathbf{X}$ $h(\mathbf{X}_1)$ $\mathbf{X}_2$ $h(\mathbf{X}_1)$
$...$ $\ldots$

user3303
fonte

2

Dependência positiva, neste caso, significa que o conjunto de testes está correlacionado positivamente. A idéia, então, é que, se as variáveis no conjunto de testes para as quais você tem valores P são positivamente correlacionadas, então cada uma das variáveis não é independente .

Se você pensar em uma correção do valor p de Bonferroni, por exemplo, poderá garantir que a taxa de erro do tipo 1 seja inferior a 10% em relação aos 100 testes estatisticamente independentes, definindo seu limite de significância para 0,1 / 100 = 0,001. Mas, e se cada um desses 100 testes estiver correlacionado de alguma forma? Então você realmente não realizou 100 testes separados.

Em FDR, a ideia é um pouco diferente da correção de Bonferroni. A idéia é garantir que apenas uma certa porcentagem (digamos 10%) das coisas que você declara significativas sejam falsamente declaradas significativas. Se você tiver marcadores correlacionados (dependência positiva) no seu conjunto de dados, o valor de FDR será escolhido com base no número total de testes que você executa (mas o número real de testes estatisticamente independentes é menor). Dessa maneira, é mais seguro concluir que a taxa de descoberta falsa está declarando falsamente 10% ou menos dos testes no seu conjunto de valores-P.

Por favor, consulte o capítulo deste livro para uma discussão sobre dependência positiva.

derrek
fonte

2

Você explica FDR x Bonferroni, mas não define "dependência positiva", mas apenas reformulá-lo para "correlacionado positivamente", mas eu não entendo. Considere que eu tenho valores de 1000 P, testando a expressão de 1000 genes diferentes comparando pessoas com e sem alguma doença. Eu uso o método BH para decidir quais dessas comparações são "descobertas". O que significa "dependência positiva" neste contexto?

Harvey Motulsky

5

Esta resposta está totalmente errada. Regressão positiva Dependência e associação positiva são diferentes entre si. O artigo de Benjamini Yekutieli explica isso e também fornece referências. "No entanto, o PRDS e a associação positiva não se implicam, e a diferença é de alguma importância. Por exemplo, uma distribuição normal multivariada é positivamente associada se todas as correlações forem não-negativas. Nem todas as correlações precisam ser não-negativas para a propriedade do PRDS manter ( consulte a Seção 3.1, Caso 1 abaixo) ". Veja a pág. 6 do papel.

precisa saber é o seguinte

O significado de "dependência positiva" como condição para usar o método usual para o controle de FDR

Respostas:

A grande imagem

Editado para adicionar: