Prós e contras de metanálises

Estive pensando em fazer uma meta-análise para um campo específico de estudo da evolução, mas antes de prosseguir, gostaria de saber; quais são os pontos positivos e negativos do processo? Por exemplo, nenhuma necessidade de um experimento prático é uma vantagem (tempo e dinheiro), mas haverá um viés de publicação (resultados mais interessantes serão publicados), o que seria uma desvantagem.

Que artigos em revistas de estatística discutem os prós e contras da metanálise?

Introdução à Meta-Análise por Borenstein, Hedges, Higgins e Rothstein fornece uma discussão detalhada dos prós e contras da meta-análise. Veja, por exemplo, o capítulo " Crítica da metanálise ", onde os autores respondem a várias críticas da metanálise. Tomo nota dos cabeçalhos das seções desse capítulo e, em seguida, faço algumas observações da memória relacionadas a esse ponto:

• "um número não pode resumir um campo de pesquisa": uma boa metanálise modelará a variabilidade nos tamanhos reais dos efeitos e modelará a incerteza das estimativas.
• "o problema da gaveta de arquivo invalida a metanálise": gráficos de funil e ferramentas relacionadas permitem verificar se o tamanho da amostra está relacionado ao tamanho do efeito para verificar o viés de publicação. Boas metanálises tentam obter estudos não publicados. Esta questão é compartilhada com estudos narrativos.
• "Misturando maçãs e laranjas": Boas meta-análises fornecem um rigoroso sistema de codificação para categorizar os estudos incluídos e justificar a inclusão e exclusão de estudos na meta-análise. Após a classificação dos estudos, a análise do moderador pode ser realizada para verificar se os tamanhos dos efeitos variam de acordo com o tipo de estudo.
• "Estudos importantes são ignorados": você pode codificar a qualidade avaliada dos estudos. Amostras grandes podem receber maior ponderação.
• "a metanálise pode discordar de estudos randomizados":
• "as metanálises são mal executadas": este é apenas um argumento para melhorar os padrões dos métodos meta-analíticos.
• "Uma revisão narrativa é melhor?": Muitas das críticas da meta-análise (por exemplo, viés de publicação) são compartilhadas por revisões narrativas. Apenas os métodos de inferência são menos explícitos e menos rigorosos nas revisões narrativas.

Na minha experiência em realizá-las, se elas não foram feitas antes, como você não está dando sua opinião sobre uma área, os jornais certos não têm viés contra elas. Uma meta-análise não entra na Science, mas em seu campo os bons periódicos geralmente são bons com as novas meta-análises.

O tempo e o custo economizados na não realização de um experimento geralmente são consumidos por outras coisas. Uma das vantagens é que muitos artigos não relatam informações suficientes para analisar. Muitas vezes, é necessário entrar em contato com os autores para recuperar isso e, infelizmente, todos eles freqüentemente não podem ou não atenderão às solicitações. É o maior tempo gasto no processo.

Você também perdeu alguns profissionais, como altas taxas de citação. Se você é a primeira e única meta-análise, novos pesquisadores frequentemente citam seu trabalho. Outro profissional são os estudos de acompanhamento relativamente fáceis. Em um ano ou dois, em um campo dinâmico de estudo, você simplesmente precisa adicionar os próximos dois anos de pesquisa para acompanhar as meta-análises. É relativamente fácil cooptar metanálises em uma área de estudo se você é o primeiro a agir. Em seguida, leva a taxas de citação relativamente altas.

Se você está preocupado com o fato de os resultados que você está recuperando da literatura apresentarem viés de publicação, existem técnicas estatísticas como gráficos de funil (tamanho do estudo (geralmente -se) no eixo y e efeito no x) que podem ser usados ​​para detectar tal. Uma literatura imparcial sobre um assunto tende a ter resultados simétricos em um gráfico de funil, mas um efeito devido ao viés de publicação parecerá muito mais como se fosse apenas metade de uma distribuição. E, ao contrário das experiências, descobrir que os dados que entram em uma metanálise são tendenciosos é publicável.

Eu pensei em fazer uma crítica à "Crítica da meta-análise" com desculpas a Michael Borenstein e colegas.

• "um número não pode resumir um campo de pesquisa": uma boa metanálise modelará a variabilidade nos tamanhos reais dos efeitos e modelará a incerteza das estimativas.

! A variação é apenas outro resumo possivelmente enganoso, como é a falta de certeza, e ambos serão muito enganosos se preconceitos quase certamente não forem explicitamente tratados.

• "o problema da gaveta de arquivo invalida a metanálise": gráficos de funil e ferramentas relacionadas permitem verificar se o tamanho da amostra está relacionado ao tamanho do efeito para verificar o viés de publicação. Boas metanálises tentam obter estudos não publicados. Esta questão é compartilhada com estudos narrativos.

! Como Box disse uma vez - como enviar um barco a remo para ver se os mares estão calmos o suficiente para o Queen Mary viajar. Potência muito baixa e quase certamente mal especificado processo de censura .

• "Misturando maçãs e laranjas": Boas meta-análises fornecem um rigoroso sistema de codificação para categorizar os estudos incluídos e justificar a inclusão e exclusão de estudos na meta-análise. Após a classificação dos estudos, a análise do moderador pode ser realizada para verificar se os tamanhos dos efeitos variam de acordo com o tipo de estudo.

! Novamente poder sem esperança e, geralmente, viés de agregação também.

• "Estudos importantes são ignorados": você pode codificar a qualidade avaliada dos estudos. Amostras grandes podem receber maior ponderação.

! Agora o poder sem esperança, a especificação incorreta do modelo e o viés nem sempre são considerados adequadamente. Consulte O viés produzido pelos índices de qualidade na metanálise

• "a metanálise pode discordar de estudos randomizados":

! Concordo plenamente e também a única fonte sobre a real incerteza deles.

• "as metanálises são mal executadas": este é apenas um argumento para melhorar os padrões dos métodos meta-analíticos.

! Concordo plenamente.

• "Uma revisão narrativa é melhor?": Muitas das críticas da meta-análise (por exemplo, viés de publicação) são compartilhadas por revisões narrativas. Apenas os métodos de inferência são menos explícitos e menos rigorosos nas revisões narrativas.

! Concordo plenamente.

Não sei ao certo por que grande parte da literatura de meta-análise mantém tais óculos de cor rosa - as meta-análises devem ser realizadas Meta-análise na pesquisa médica: forte incentivo à maior qualidade dos esforços de pesquisa individuais , mas deve ser feito de forma crítica, com plena consciência de todos os tipos.

E, como quase sempre esqueço, preciso esclarecer o que exatamente quero dizer com meta-análise, pois o que os outros entendem significa ter variado ao longo do tempo e do local e talvez o significado mais comum hoje em dia - apenas os métodos quantitativos usados ​​nos números extraídos obtidos em uma revisão sistemática - não é o que quero dizer. Quero dizer, todo o processo de revisão sistemática, mesmo que seja decidido não usar nenhum método quantitativo. Ou em apenas uma frase, conforme citado no wiki

Em estatística, uma meta-análise refere-se a métodos focados em contrastar e combinar resultados de diferentes estudos, na esperança de identificar padrões entre os resultados do estudo, fontes de desacordo entre esses resultados ou outras relações interessantes que possam surgir no contexto de vários estudos.