Em uma metanálise, como lidar com estudos não significativos que não contêm dados brutos?

9

Digamos que estou conduzindo uma meta-análise, observando o desempenho do grupo A e do grupo B com relação a um determinado construto. Agora, alguns dos estudos que descreverei relatam que não foram encontradas diferenças estatísticas entre os dois grupos, mas nenhuma estatística exata do teste e / ou dados brutos serão apresentados. Em uma meta-análise, como devo lidar com esses estudos?

Basicamente, vejo três alternativas diferentes aqui:

  1. Inclua todos eles e atribua a cada um deles um tamanho de efeito 0.
  2. Jogue todos fora.
  3. Faça algum tipo de análise de poder para cada um deles ou defina um limite para um determinado número de participantes. Inclua tudo o que deveria ter sido capaz de alcançar significância estatística e atribua a cada um deles um tamanho de efeito igual a 0. Jogue o resto fora.

Eu posso ver méritos com todas as diferentes opções. A opção 1 é bastante conservadora e você só corre o risco de cometer um erro do tipo II. A opção dois aumenta o risco de cometer um erro do tipo I, mas também evita que seus resultados sejam arruinados por causa de vários estudos com pouca potência. A opção três parece ser o caminho intermediário entre a opção um e a opção dois, mas muitas suposições e / ou suposições puros terão que ser feitas (em que tamanho de efeito você deve basear suas análises de poder? Em que número de participantes você deve exigir cada estudar para que passe?), provavelmente tornando o resultado final menos confiável e mais subjetivo.

hypothesis-testing power-analysis meta-analysis effect-size group-differences Speldosa
fonte
Não atribua zero, porque isso é uma subestimação do efeito. Uma abordagem é atribuir um valor de tamanho de efeito associado a um valor-p de 0,5 (o valor-p esperado, se a hipótese nula for verdadeira).
Jeremy Miles
1
O que faria você dar uma olhada no valor ao decidir o que fazer com um estudo ao incluir em uma meta-análise? Pense em estimativas, não em testes de hipóteses . P
Frank Harrell
@JeremyMiles "Não atribua zero, porque isso é uma subestimação do efeito." - É isso? Quero dizer, poderia ser, mas como não há dados disponíveis, simplesmente não consigo saber qual é o verdadeiro efeito desses estudos.
Speldosa
Os Estudos @FrankHarrell que relatam resultados não significativos fornecem uma dica de qual pode ser o tamanho real do efeito para esse estudo. Os estudos que não relatam nada são totalmente inúteis e apenas introduzem ruído, a menos que se suponha que haja um viés em não relatar nada (nem mesmo um teste estatístico com falha) quando não houver um efeito presente (talvez deva assumir que esse seja o caso ?). A questão que estou investigando para a minha meta-análise é uma questão que muitas vezes não é a principal (ou mesmo uma pergunta que os autores estão fazendo) dos estudos que estou examinando.
Speldosa
1
@JeremyMiles Eu sei que você forneceu sua sugestão 'estimativa do tamanho do efeito com base no valor-p de 0,5' há algum tempo - você conhece algum trabalho que eu possa citar se eu adotar essa abordagem? Ficaria muito grato por qualquer ajuda!

Respostas:

9

Como você aponta, há méritos nas três abordagens. Claramente, não existe uma opção que seja 'melhor'. Por que não fazer todos os 3 e apresentar os resultados como uma análise de sensibilidade?

Uma meta-análise realizada com análises de sensibilidade amplas e apropriadas apenas mostra que o autor está bem ciente dos limites dos dados em questão, explicita a influência das escolhas que fazemos ao realizar uma meta-análise e é capaz de avaliar criticamente as consequências. Para mim, essa é a marca da metanálise bem conduzida.

Qualquer pessoa que já tenha conduzido uma meta-análise sabe muito bem que existem muitas escolhas e decisões a serem tomadas ao longo do caminho e essas escolhas e decisões podem ter uma influência considerável nos resultados obtidos. A vantagem de uma metanálise (ou mais geralmente, uma revisão sistemática) é que os métodos (e, portanto, as escolhas e decisões) são explicitados. E pode-se avaliar sua influência de maneira sistemática. É exatamente assim que uma meta-análise deve ser conduzida.

Wolfgang
fonte
4

Aqui estão os passos que eu daria (e que ensino aos meus alunos):

1) Entre em contato com os autores da pesquisa original. Seja educado e solicite estimativas exatas dos efeitos para usar em sua meta-análise. O pior que pode acontecer é que eles não respondam ou se recusam a fornecer as informações. O melhor cenário é obter as informações exatas que procurava.

2) Se você tem valores p exatos, geralmente pode calcular SDs com algum grau de certeza.

3) Você faz algum tipo de imputação. Isso poderia estar usando 'emprestar' a estimativa de efeito de estudos de tamanho semelhante, o maior DP na metanálise, o SD de estudos semelhantes na mesma metanálise, opinião de especialistas, etc. Há muitas maneiras de atribuir os dados ausentes, alguns mais cientificamente correto do que outros, mas o mais importante é que você seja claro sobre o que fez e faça uma análise de sensibilidade para determinar o efeito das imputações na estimativa de efeito agregado.

3) Você coloca os estudos na metanálise com os dados ausentes. O programa (por exemplo, RevMan) não dará nenhum peso a esses estudos na análise porque não será capaz de calcular a estimativa e a variação do efeito para esse estudo, mas você poderá mostrar visualmente que houve estudos adicionais com dados parciais que não faziam parte do cálculo agrupado.

4) Você não inclui dados desses estudos.

Escolha seu veneno ...

Abousetta
fonte