Uma metanálise inclui vários estudos, os quais relataram um valor de P superior a 0,05. É possível que a metanálise geral relate um valor de P menor que 0,05? Sob que circunstâncias?
(Tenho certeza de que a resposta é sim, mas gostaria de uma referência ou explicação.)
statistical-significance
meta-analysis
combining-p-values
Harvey Motulsky
fonte
fonte
Respostas:
Em teoria, sim ...
Os resultados de estudos individuais podem ser insignificantes, mas vistos juntos, os resultados podem ser significativos.
Em teoria, você pode continuar tratando os resultadosyEu de estudo Eu como qualquer outra variável aleatória.
Vamos haver alguma variável aleatória (por exemplo. A estimativa do estudo i ). Então, se y i é independente e E [ y i ] = μ , é possível estimar consistentemente a média com:yEu Eu yEu E[ yEu] = μ
Adicionando mais suposições, seja a variação da estimativa y i . Em seguida, você pode estimar com eficiência μ com ponderação de variação inversa:σ2Eu yEu μ
Em qualquer destes pode ser estatisticamente significativa em algum nível de confiança, mesmo se as estimativas individuais não são.μ^
MAS pode haver grandes problemas, questões a serem conhecidas ...
Se então o meta-análise pode não convergem para μ (ou seja, a média da meta-análise é um estimador inconsistente).E[ yEu] ≠ μ μ
Por exemplo, se houver um viés contra a publicação de resultados negativos, essa metanálise simples pode ser terrivelmente inconsistente e tendenciosa! Seria como estimar a probabilidade de uma moeda virar a cabeça, observando apenas os flips onde não caiu a coroa!
e y j podem não ser independentes. Por exemplo, se dois estudos de i e j basearam-se os mesmos dados, então o tratamento de y i e y j como independente na meta-análise pode subestimam o erro padrão e significância estatística overstate. Suas estimativas ainda seriam consistentes, mas os erros-padrão precisam levar em consideração razoavelmente a correlação cruzada nos estudos.yEu yj Eu j yEu yj
Combinar (1) e (2) pode ser especialmente ruim.
Por exemplo, a metanálise das médias de pesquisas juntas tende a ser mais precisa do que qualquer pesquisa individual. Mas a média de pesquisas juntas ainda é vulnerável a erros correlatos. Algo que surgiu nas eleições passadas é que os jovens que trabalham nas pesquisas de opinião pública tendem a entrevistar outros jovens em vez de idosos. Se todas as pesquisas de saída cometerem o mesmo erro, você tem uma estimativa ruim que pode ser uma boa estimativa (as pesquisas de saída estão correlacionadas porque usam a mesma abordagem para realizar pesquisas de saída e essa abordagem gera o mesmo erro).
Sem dúvida, as pessoas mais familiarizadas com a meta-análise podem apresentar melhores exemplos, questões mais sutis, técnicas de estimativa mais sofisticadas, etc ..., mas isso aborda algumas das teorias mais básicas e alguns dos maiores problemas. Se os diferentes estudos cometerem erros aleatórios e independentes, a meta-análise poderá ser incrivelmente poderosa. Se o erro for sistemático entre os estudos (por exemplo, todos subestimam os eleitores mais velhos etc.), a média dos estudos também será reduzida. Se você subestimar o grau de correlação dos estudos ou de erros correlatos, efetivamente superestima o tamanho da amostra agregada e subestima os erros padrão.
Também existem todos os tipos de questões práticas de definições consistentes, etc ...
fonte
Sim. Suponha que você tenha valores de p de N estudos independentes.N N
Teste de Fisher
(EDIT - em resposta ao útil comentário de @ mdewey abaixo, é relevante distinguir entre diferentes meta-testes. Eu explico o caso de outro meta-teste mencionado por mdewey abaixo)
O metateste clássico de Fisher (ver Fisher (1932), "Métodos Estatísticos para Pesquisadores" ), estatística tem uma distribuição nula de χ 2 2 N , como - 2 ln ( U ) ~ χ 2 2 para um rv uniforme L .
Seja denotar o ( 1 - α ) -quantil da distribuição nula.χ22 N( 1 - α ) ( 1 - α )
Suponha que todos os valores de p sejam iguais a , onde, possivelmente, c > α . Então, F = - 2 N ln ( c ) e F > χ 2 2 N ( 1 - α ) quando c < exp ( - χ 2 2 N ( 1 - α )c c > α F= - 2 Nem( C ) F> χ22 N( 1 - α )
Por exemplo, paraα=0,05eN=20, os valores depindividuaisprecisam apenas ser menores que
Obviamente, o que os testes de meta-estatística são "apenas" o nulo "agregado" que todos os nulos individuais são verdadeiros, que devem ser rejeitados assim que apenas um dos nulos for falso.N
EDITAR:
Aqui está um gráfico dos valores de p "admissíveis" contra , que confirma que c cresce em N , embora pareça se estabilizar em c ≈ 0,36 .N c N c ≈ 0,36
I encontrado um limite superior para as quantis do distribuição χ 2 2 N ( 1 - α ) ≤ 2 N + 2 log ( 1 / α ) + 2 √χ2 aqui, sugerindo queχ 2 2 N (1-α)=O(N) demodo que
exp ( - χ 2 2 N ( 1 - α )
Teste normal inverso (Stouffer et al., 1949)
A estatística do teste é dada por
fonte
O método de LHC Tippett é descrito em um livro Os métodos da estatística. 1931 (1ª ed) e o método de Wilkinson estão aqui em um artigo "Uma consideração estatística em pesquisa psicológica"
fonte