Uma meta-análise de estudos que “não são estatisticamente significativos” pode levar a uma conclusão “significativa”?

29

Uma metanálise inclui vários estudos, os quais relataram um valor de P superior a 0,05. É possível que a metanálise geral relate um valor de P menor que 0,05? Sob que circunstâncias?

(Tenho certeza de que a resposta é sim, mas gostaria de uma referência ou explicação.)

Harvey Motulsky
fonte
1
Não sei muito sobre a metanálise, mas fiquei com a impressão de que ela não envolve nenhum teste de hipóteses, apenas uma estimativa do efeito da população; nesse caso, não há noção de significância para falar.
Kodiologist 28/10
1
Bem, uma meta-análise - no final do dia - é apenas uma média ponderada. E você certamente pode configurar um teste de hipótese para essa média ponderada. Ver, por exemplo, Borenstein, Michael, et al. "Uma introdução básica aos modelos de efeito fixo e efeitos aleatórios para metanálise." Research Synthesis Methods 1.2 (2010): 97-111.
Boscovich
1
As outras respostas também são boas, mas um caso simples: dois estudos são significativos em p = 0,9, mas não em p = 0,95. A probabilidade de que dois estudos independentes devem ambas apresentar p> = 0.9 é apenas 0,01, assim que sua meta-análise poderia mostrar significância de p = 0,99
barrycarter
2
Pegue o limite: Nenhuma medida pode fornecer evidência suficiente a favor / contra uma hipótese (não trivial) para ter um valor de pequeno p, mas uma coleção de medidas grande o suficiente.
Eric Towers
Os valores de p não indicam efeito "estatisticamente significante" ou insignificante. O que poderíamos entender de uma conclusão significativa? É uma conclusão meta-analítica?
Subhash C. Davar

Respostas:

31

Em teoria, sim ...

Os resultados de estudos individuais podem ser insignificantes, mas vistos juntos, os resultados podem ser significativos.

Em teoria, você pode continuar tratando os resultados yi de estudo i como qualquer outra variável aleatória.

Vamos haver alguma variável aleatória (por exemplo. A estimativa do estudo i ). Então, se y i é independente e E [ y i ] = μ , é possível estimar consistentemente a média com:yEuEuyEuE[yEu]=μ

μ^=1nEuyEu

Adicionando mais suposições, seja a variação da estimativa y i . Em seguida, você pode estimar com eficiência μ com ponderação de variação inversa:σEu2yEuμ

μ^=EuWEuyEuWEu=1/σEu2j1/σj2

Em qualquer destes pode ser estatisticamente significativa em algum nível de confiança, mesmo se as estimativas individuais não são.μ^

MAS pode haver grandes problemas, questões a serem conhecidas ...

  1. Se então o meta-análise pode não convergem para μ (ou seja, a média da meta-análise é um estimador inconsistente).E[yEu]μμ

    Por exemplo, se houver um viés contra a publicação de resultados negativos, essa metanálise simples pode ser terrivelmente inconsistente e tendenciosa! Seria como estimar a probabilidade de uma moeda virar a cabeça, observando apenas os flips onde não caiu a coroa!

  2. e y j podem não ser independentes. Por exemplo, se dois estudos de i e j basearam-se os mesmos dados, então o tratamento de y i e y j como independente na meta-análise pode subestimam o erro padrão e significância estatística overstate. Suas estimativas ainda seriam consistentes, mas os erros-padrão precisam levar em consideração razoavelmente a correlação cruzada nos estudos.yEuyjEujyEuyj

  3. Combinar (1) e (2) pode ser especialmente ruim.

    Por exemplo, a metanálise das médias de pesquisas juntas tende a ser mais precisa do que qualquer pesquisa individual. Mas a média de pesquisas juntas ainda é vulnerável a erros correlatos. Algo que surgiu nas eleições passadas é que os jovens que trabalham nas pesquisas de opinião pública tendem a entrevistar outros jovens em vez de idosos. Se todas as pesquisas de saída cometerem o mesmo erro, você tem uma estimativa ruim que pode ser uma boa estimativa (as pesquisas de saída estão correlacionadas porque usam a mesma abordagem para realizar pesquisas de saída e essa abordagem gera o mesmo erro).

Sem dúvida, as pessoas mais familiarizadas com a meta-análise podem apresentar melhores exemplos, questões mais sutis, técnicas de estimativa mais sofisticadas, etc ..., mas isso aborda algumas das teorias mais básicas e alguns dos maiores problemas. Se os diferentes estudos cometerem erros aleatórios e independentes, a meta-análise poderá ser incrivelmente poderosa. Se o erro for sistemático entre os estudos (por exemplo, todos subestimam os eleitores mais velhos etc.), a média dos estudos também será reduzida. Se você subestimar o grau de correlação dos estudos ou de erros correlatos, efetivamente superestima o tamanho da amostra agregada e subestima os erros padrão.

Também existem todos os tipos de questões práticas de definições consistentes, etc ...

Matthew Gunn
fonte
1
Estou criticando uma meta-análise por ignorar dependências entre tamanhos de efeito (ou seja, muitos tamanhos de efeito foram baseados nos mesmos participantes, mas tratados como independentes). Os autores dizem nada demais, apenas estamos interessados ​​em moderadores. Estou argumentando aqui: tratá-los "como independentes na metanálise pode subestimar enormemente os erros padrão e exagerar a significância estatística". Existe um estudo de prova / simulação mostrando por que esse é o caso? Tenho muitas referências dizendo que erros correlatos significam SE subestimado ... mas não sei por quê?
Mark White
1
@MarkWhite A ideia básica não é mais complicada que a . Se para todos ositemosVar(Xi)=σ2eCov(Xi,Xj)=0paraijentãoVar(1Var(1nEuXEu)=1n2(EuVar(XEu)+EujCov(XEu,Xj))EuVar(XEu)=σ2Cov(XEu,Xj)=0 0Euj seu erro padrão éσVar(1nEuXEu)=σ2n . Por outro lado, se os termos de covariância forem positivos e grandes, o erro padrão será maior. σn
Matthew Gunn
@MarkWhite Eu não sou um especialista em meta-análise, e eu honestamente não sei o que é uma grande fonte de como se deve fazer, meta-análise moderna. Conceitualmente, replicar a análise nos mesmos dados é certamente útil (como se estuda intensamente alguns assuntos), mas não é o mesmo que reproduzir uma descoberta sobre assuntos novos e independentes.
Matthew Gunn
1
Ah, então em palavras: a variação total de um tamanho de efeito vem de (a) sua variação e (b) é covariância com outros tamanhos de efeito. Se a covariância for 0, a estimativa de erro padrão será boa; mas se ela cobre outros tamanhos de efeito, precisamos levar em consideração essa variação, e ignorá-la significa que estamos subestimando a variação. É como se a variação fosse composta de duas partes A e B, e ignorar dependências assume que a parte B é 0 quando não é?
Mark White
1
Além disso, esta parece ser uma boa fonte (ver especialmente Box 2): nature.com/neuro/journal/v17/n4/pdf/nn.3648.pdf
Mark White
29

Sim. Suponha que você tenha valores de p de N estudos independentes.NN

Teste de Fisher

(EDIT - em resposta ao útil comentário de @ mdewey abaixo, é relevante distinguir entre diferentes meta-testes. Eu explico o caso de outro meta-teste mencionado por mdewey abaixo)

O metateste clássico de Fisher (ver Fisher (1932), "Métodos Estatísticos para Pesquisadores" ), estatística tem uma distribuição nula de χ 2 2 N , como - 2 ln ( U ) ~ χ 2 2 para um rv uniforme L .

F=2i=1Nln(pi)
χ2N2-2em(você)χ22você

Seja denotar o ( 1 - α ) -quantil da distribuição nula.χ2N2(1-α)(1-α)

Suponha que todos os valores de p sejam iguais a , onde, possivelmente, c > α . Então, F = - 2 N ln ( c ) e F > χ 2 2 N ( 1 - α ) quando c < exp ( - χ 2 2 N ( 1 - α )cc>αF=-2Nem(c)F>χ2N2(1-α) Por exemplo, paraα=0,05eN=20, os valores depindividuaisprecisam apenas ser menores que

c<exp(-χ2N2(1-α)2N)
α=0,05N=20p
> exp(-qchisq(0.95, df = 40)/40)
[1] 0.2480904

Obviamente, o que os testes de meta-estatística são "apenas" o nulo "agregado" que todos os nulos individuais são verdadeiros, que devem ser rejeitados assim que apenas um dos nulos for falso.N

EDITAR:

Aqui está um gráfico dos valores de p "admissíveis" contra , que confirma que c cresce em N , embora pareça se estabilizar em c 0,36 .NcNc0,36

insira a descrição da imagem aqui

I encontrado um limite superior para as quantis do distribuição χ 2 2 N ( 1 - α ) 2 N + 2 log ( 1 / α ) + 2 χ2aqui, sugerindo queχ 2 2 N (1-α)=O(N) demodo que exp ( - χ 2 2 N ( 1 - α )

χ2N2(1-α)2N+2registro(1/α)+22Nregistro(1/α),
χ2N2(1-α)=O(N)é delimitado de cima porexp(-1)comoN. Comoexp(-1)0,3679, esse limite parece razoavelmente nítido.exp(-χ2N2(1-α)2N)exp(-1)Nexp(-1)0,3679

Teste normal inverso (Stouffer et al., 1949)

A estatística do teste é dada por

Z=1NEu=1NΦ-1(pEu)
Φ-1Z<-1.645α=0,05pEu=cZ=NΦ-1(c)c<0,5Φ-1(c)<0 0Zp-Nc0,5ZNN

Z<-1.645c<Φ(-1.645/N)Φ(0 0)=0,5N

Christoph Hanck
fonte
2
1/e
Obrigado :-). Eu também não esperava um antes de ver o enredo ...
Christoph Hanck
5
Curiosamente, o método devido a Fisher é o único dos métodos mais usados ​​que possui essa propriedade. Para a maioria dos outros, o que você chama de F aumenta com N se $ c> 0,5) e diminui caso contrário. Isso se aplica ao método de Stouffer e ao método de Edgington, bem como aos métodos baseados em logits e na média de p. Os vários métodos que são casos especiais do método de Wilkinson (mínimo p, máximo p, etc) têm propriedades diferentes novamente.
Mdewey
1
1/e
p=0,9p
4

p

pα

p[1]p[2]...p[k]
k
p[1]<1-(1-α)1k

kαp[1]α

pp[r]1rkr=2p=0,09

O método de LHC Tippett é descrito em um livro Os métodos da estatística. 1931 (1ª ed) e o método de Wilkinson estão aqui em um artigo "Uma consideração estatística em pesquisa psicológica"

mdewey
fonte
1
Obrigado. Mas observe que a maioria dos métodos de metanálise combina tamanhos de efeito (considerando qualquer diferença no tamanho da amostra) e não combina valores de P.
Harvey Motulsky
@HarveyMotulsky concordou, combinando valores de p é um último recurso, mas o OP fez tag sua pergunta com a tag valores combinando-p então eu respondeu com esse espírito
mdewey
Eu acho que sua resposta está correta.
Subhash C. Davar