Por que encontrar pequenos efeitos em grandes estudos indica viés de publicação?

32

Vários artigos metodológicos (por exemplo, Egger et al 1997a, 1997b) discutem o viés de publicação, revelado por meta-análises, usando gráficos de funil como o abaixo. Gráfico de funil de betabloqueadores no infarto do miocárdio

O artigo de 1997b diz que "se houver viés de publicação, espera-se que, nos estudos publicados, os maiores reportem os menores efeitos". Mas porque é isso? Parece-me que tudo isso provaria é o que já sabemos: pequenos efeitos são detectáveis ​​apenas com grandes amostras ; sem dizer nada sobre os estudos que não foram publicados.

Além disso, o trabalho citado alega que a assimetria visualmente avaliada em um gráfico de funil "indica que houve não publicação seletiva de ensaios menores com benefícios menos consideráveis". Mas, novamente, eu não entendo como quaisquer características de estudos que foram publicados possivelmente pode nos dizer qualquer coisa (nos permitem fazer inferências) sobre obras que foram não publicados!

Referências
Egger, M., Smith, GD e Phillips, AN (1997). Meta-análise: princípios e procedimentos . BMJ, 315 (7121), 1533-1537.

Egger, M., Smith, GD, Schneider, M. e Minder, C. (1997). Viés na meta-análise detectada por um teste gráfico simples . BMJ , 315 (7109), 629-634.

z8080
fonte
Eu não acho que você tem isso da maneira certa. Talvez a resposta a estas perguntas e respostas possa ajudar stats.stackexchange.com/questions/214017/…
mdewey 19/02
7
Para que um pequeno estudo seja publicado, ele terá que mostrar um grande efeito, independentemente do tamanho real do efeito.
einar

Respostas:

23

As respostas aqui são boas, +1 para todos. Eu só queria mostrar como esse efeito pode parecer em termos de gráfico de funil em um caso extremo. Abaixo, simulo um pequeno efeito como N(.01,.1) e desenho amostras entre 2 e 2000 observações em tamanho.

Os pontos cinzas no gráfico não seriam publicados sob um regime estrito de p<.05 . A linha cinza é uma regressão do tamanho do efeito no tamanho da amostra, incluindo os estudos com "p-valor ruim", enquanto o vermelho os exclui. A linha preta mostra o verdadeiro efeito.

Como você pode ver, no viés de publicação, há uma forte tendência para pequenos estudos superestimarem os tamanhos de efeito e para os maiores relatarem tamanhos de efeito mais próximos da verdade.

set.seed(20-02-19)

n_studies <- 1000
sample_size <- sample(2:2000, n_studies, replace=T)

studies <- plyr::aaply(sample_size, 1, function(size) {
  dat <- rnorm(size, mean = .01, sd = .1)
  c(effect_size=mean(dat), p_value=t.test(dat)$p.value)
})

studies <- cbind(studies, sample_size=log(sample_size))

include <- studies[, "p_value"] < .05

plot(studies[, "sample_size"], studies[, "effect_size"], 
     xlab = "log(sample size)", ylab="effect size",
     col=ifelse(include, "black", "grey"), pch=20)
lines(lowess(x = studies[, "sample_size"], studies[, "effect_size"]), col="grey", lwd=2)
lines(lowess(x = studies[include, "sample_size"], studies[include, "effect_size"]), col="red", lwd=2)
abline(h=.01)

Criado em 20/02/2019 pelo pacote reprex (v0.2.1)

einar
fonte
1
Excelente ponto, realmente ajuda a entender isso intuitivamente, obrigado!
z8080 20/02
2
+1 Este gráfico vale mais que mil palavras e resume bem o problema. Esse tipo de viés pode até ser encontrado quando o tamanho real do efeito é 0.
Underminer
29

Primeiro, precisamos pensar sobre o que é "viés de publicação" e como isso afetará o que realmente faz parte da literatura.

p<0.05|θ^|/SE(θ^)>1.96nSE(θ^)|θ^|

θ|θ^| θ^|θ| é realmente significativamente menor do que o que normalmente vemos nas experiências menores que realmente chegam à publicação.

|θ^| SE(θ^)p<0.05

Cliff AB
fonte
nSE(θ)|θ|SE(θ)=SD(θ)nSE(θ)SE
19

Leia esta declaração de uma maneira diferente:

Se não houver viés de publicação, o tamanho do efeito deve ser independente do tamanho do estudo.

Ou seja, se você estiver estudando um fenômeno, o tamanho do efeito é uma propriedade do fenômeno, não a amostra / estudo.

As estimativas do tamanho do efeito podem (e irão) variar entre os estudos, mas se houver um tamanho sistemático decrescente do efeito com o aumento do tamanho do estudo , isso sugere que há viés. O ponto principal é que essa relação sugere que existem pequenos estudos adicionais mostrando baixo tamanho de efeito que não foram publicados e, se eles foram publicados e, portanto, poderiam ser incluídos em uma metanálise, a impressão geral seria que o tamanho do efeito é menor do que o estimado a partir do subconjunto de estudos publicado.

A variação das estimativas de tamanho de efeito nos estudos dependerá do tamanho da amostra, mas você deverá ver um número igual de estimativas de sub e super em tamanhos de amostra baixos, se não houver viés.

Bryan Krause
fonte
1
Mas é realmente correto dizer que "Se não houver viés de publicação, o tamanho do efeito deve ser independente do tamanho do estudo"? Isso é verdade, é claro, quando você se refere ao verdadeiro efeito subjacente, mas acho que eles estão se referindo ao efeito estimado. Um tamanho do efeito que é dependente do tamanho do estudo (sugerindo viés) eleva-se a uma relação linear, em que gráfico de dispersão (alta correlação). Isso é algo que pessoalmente não vi em nenhum gráfico de funil, embora, é claro, muitos deles tenham sugerido a existência de um viés.
z8080 19/02
2
@ z8080 Você está certo, apenas se as estimativas de média e desvio padrão forem imparciais, o tamanho estimado do efeito será completamente independente do tamanho do estudo, se não houver viés de publicação. Como o desvio padrão da amostra é tendencioso, haverá algum viés nas estimativas de tamanho de efeito, mas esse viés é pequeno em comparação com o nível de viés entre os estudos aos quais Egger et al. Estão se referindo. Na minha resposta, estou tratando-o como insignificante, assumindo que o tamanho da amostra seja grande o suficiente para que a estimativa do SD seja quase imparcial e, portanto, considerando-o independente do tamanho do estudo.
Bryan Krause
2
@ z8080 A variação das estimativas de tamanho de efeito dependerá do tamanho da amostra, mas você deverá ver um número igual de estimativas de sub e super em tamanhos de amostra baixos.
Bryan Krause
2
"As estimativas do tamanho do efeito podem (e irão) variar entre os estudos, mas se houver uma relação sistemática entre o tamanho do efeito e o tamanho do estudo" Esse fraseado é um pouco obscuro sobre a diferença entre dependência e tamanho do efeito. A distribuição do tamanho do efeito será diferente para o tamanho da amostra de diferença e, portanto, não será independente do tamanho da amostra, independentemente de haver viés. O viés é uma direção sistemática da dependência.
Acumulação
@ Acumulação Minha edição corrige a falta de clareza que você viu?
Bryan Krause