Sem modelagem multinível, como lidar com a replicação dentro do estudo em uma metanálise, em que o estudo é a unidade de replicação?

13

Descrição do estudo:

Eu observei um erro comum entre as metanálises, no que diz respeito ao manuseio da replicação dentro do estudo. Não está claro para mim se o erro invalida os estudos quando afirmações são feitas. No entanto, pelo que entendi, essas suposições violam uma premissa básica de estatística.

Como exemplo, um estudo testa os efeitos de química em resposta Y .XY

A análise é realizada na razão de resposta do log: a proporção do tratamento (na presença de X ) para controlar Y 0 (no X ):Y+XXY0 0X

R=em(Y+XY0 0)

Alguns dos estudos incluídos na meta-análise conter vários tratamentos, por exemplo, diferentes níveis ou formas químicas de . Para cada tratamento, existe um valor diferente de R , embora R sempre use o mesmo valor de Y 0XRRY0 0 .

Os métodos declaram:

respostas a diferentes tratamentos (níveis e formas de ) em um único estudo foram consideradas observações independentes.X

Questões:

  • Não é essa pseudo-replicação?
  • É inadequado mesmo que a violação da independência seja declarada nos métodos?
  • Qual seria uma maneira fácil (por exemplo, com a capacidade de um simples pacote de software de metanálise) de lidar com a replicação de estudo?

Pensamentos iniciais:

  • Resuma os resultados de cada estudo, por exemplo, tomando a resposta média
  • Selecione apenas um tratamento de cada estudo com base em critérios a priori (por exemplo, dose mais alta, primeira medição)?

Existem outras soluções?

David LeBauer
fonte
Este é apenas um palpite rápido, mas convém verificar Kim / Becker 2010: O grau de dependência entre tamanhos de efeito de tratamento múltiplo ; Não li o artigo, mas ele pode estar relacionado à sua pergunta.
Bernd Weiss
A meta-análise está realmente apenas na média de todos esses valores de diferença de R? Isso parece bastante estranho, comparado a, por exemplo, tentar uma meta-regressão - nesse caso, as diferenças entre R em diferentes níveis de X podem ser o que você está interessado em combinar nos estudos.
guest
@ convidado sim, eles realmente são; seria interessante como diferentes níveis de X afetam R, mas a questão é colocada simplesmente "existe um efeito de X"? Pode haver poder limitado para testar o efeito de X em R, neste contexto (resposta do ecossistema à adição de nutrientes), devido à variedade de métodos e condições de estudo.
David LeBauer
1
Você está certo, é um problema. Não muito com as estimativas pontuais, mas as medidas de precisão (erros padrão) serão muito pequenas; ignora o uso múltiplo dos dados do grupo de controle. No entanto, não deve ser novidade para ninguém na meta-análise. O artigo de Kim / Becker acima é basicamente uma re-afirmação - com reconhecimento - de Gleser & Olkin (1994). Tamanhos de efeito estocástico dependentes. Em Cooper & Hedges (Eds), O manual de síntese de pesquisas (pp. 339–355). Este livro é um texto padrão no campo, acredito agora em uma segunda edição.
guest

Respostas:

3

Sim, é um problema porque existe uma dependência de amostragem nas respostas que precisavam ser contabilizadas (embora às vezes o efeito possa ser desprezível e violamos a suposição o tempo todo ao executar análises estatísticas). Existem métodos para lidar com isso, uma abordagem é incluir as covariâncias entre experimentos relacionados (blocos fora da diagonal) na matriz de variância-covariância de erro (ver, por exemplo, Hedges et al., 2010). Felizmente, com taxas de log, isso é bastante fácil. Você pode obter covariâncias aproximadas entre experimentos porque a variância (var) do log R é (se Yx e Y0 são grupos independentes): log Yx - log Y0, para seguir a notação na pergunta, Yx referente ao grupo experimental e Y0 a grupo de controle. A covariância (cov) entre dois valores (por exemplo, tratamento 1 e tratamento 2) para o log R é cov (log Yx_1 - log Y0, log Yx_2 - log Y0), que é igual a var (log Y0) e é calculado como SD_Y0 / (n_Y0 * Y0), onde SD_Y0 é o desvio padrão de Y0, n_Y0 é o tamanho da amostra no tratamento de controle e Y0 é o valor no tratamento de controle. Agora, podemos inserir toda a matriz de variância-covariância em nosso modelo, em vez de usar apenas as variâncias (ei), que são a maneira clássica de realizar uma meta-análise. Um exemplo disso pode ser encontrado emLimpens et al. 2011 usando o pacote metahdep em R (no biocondutor), ou Stevens e Taylor 2009 para Hedge´s D.

Se você quiser simplificar, eu ficaria tentado a ignorar o problema e tentar avaliar o efeito da dependência da amostragem (por exemplo, quantos tratamentos existem nos estudos? Como os resultados mudam se eu usar apenas um tratamento? Etc) .

GGeco
fonte
2

Sim, isso é um problema.

Sim, é inadequado, embora pelo menos seja transparente sobre o que está fazendo (obtém pontos por transparência, mas ainda não é satisfatório).

Duvido que exista uma "maneira fácil" de corrigir isso. Não sei muito sobre as abordagens adotadas para a metanálise, mas se houver um software específico de metanálise e pesquisas como essa forem produzidas usando-as e forem publicadas, essa pode ser a abordagem comum. Qualquer uma das respostas propostas perde alguma granularidade de informações de cada estudo (ou seja, o problema oposto ao que os editores fizeram).

A solução óbvia é um modelo de efeitos mistos (isto é, multinível) com estudo como um fator aleatório. Eu sugeriria o uso de um pacote estatístico especializado para isso, se o software de meta-análise não puder fazer isso. Você ainda pode usar o software de metanálise para armazenamento e processamento de dados e apenas exportar dados para R, Stata ou SAS para a análise.

Peter Ellis
fonte
Eu estava pensando em ensaios clínicos e me perguntando se estava tudo bem na situação em que uma curva dose-resposta era o resultado, porque então poderia estar comparando as funções da curva. Isso é uma possibilidade?
Michelle
Não acho que faça muita diferença para o problema que vários resultados de um estudo sejam de alguma forma correlacionados e, portanto, não sejam "novas". Mas a metanálise das funções das curvas certamente seria possível, desde que você controlasse de alguma forma a correlação entre as várias estimativas dessas curvas. Se todos tiverem a mesma forma e for apenas uma questão de estimar parâmetros, deve ser possível.
Peter Ellis
@ Michelle Concordo com Peter: se você está resumindo os parâmetros da curva, obtém uma estimativa de parâmetro para cada curva, e isso deve ser bom.
Abe