Que exemplos de variáveis ​​ocultas em experimentos controlados existem nas publicações?

11

Nesse papel:

Variáveis ​​ocultas: alguns exemplos Brian L. Joiner The American Statistician Vol. 35, nº 4, novembro de 1981 227-233

Brian Joiner afirma que "a randomização não é uma panacéia". Isso é contrário a declarações comuns como a abaixo:

Um experimento bem projetado inclui recursos de design que permitem que os pesquisadores eliminem variáveis ​​estranhas como explicação para a relação observada entre a (s) variável (s) independente (s) e a variável dependente. Essas variáveis ​​estranhas são chamadas de variáveis ​​ocultas.

A citação foi tirada desta pergunta e não tem uma fonte, mas, na minha experiência, é representativa da atitude predominante: Exemplos de observação variável à espreita e influência

Um exemplo dado é que, ao testar a segurança (especificamente carcinogênese) do corante alimentar vermelho nº 40 em roedores nos anos setenta, foi encontrado um efeito da posição da gaiola para confundir o estudo. Agora, já li muitos artigos de revistas estudando a carcinogênese em roedores e nunca vi alguém relatando o controle desse efeito.

Uma discussão mais aprofundada desses estudos pode ser encontrada aqui: Um estudo de caso de estatística no processo regulatório: os experimentos FD&C Red No. 40.

Não consegui encontrar uma versão sem paywall, mas aqui está um trecho:

Na reunião de janeiro, apresentamos uma análise preliminar (14) que divulgou uma forte correlação entre as taxas de óbito na linha da gaiola e a ER (tumor retículo-endotelial), que variou de 17% (linha inferior) a 32% (linha superior) (tabela 2) Não conseguimos explicar essa forte associação por sexo, grupo de dosagem ou coluna ou posição do rack. Uma análise subsequente (18) também indicou que a posição da gaiola (frente x costas) pode estar correlacionada com a mortalidade não-ER e essa posição foi correlacionada com o tempo até a morte não-ER.

Estou especificamente interessado em saber por que parece haver um problema com a replicação na literatura médica, mas exemplos de todos os campos seriam bem-vindos. Observe que estou interessado em exemplos de experimentos controlados randomizados, e não em estudos observacionais.

Frasco
fonte
Apenas por uma questão de interesse, uma variável lukring é a mesma que uma variável contadora / confusa?
Tomka
@tomka Eu definiria uma variável oculta como uma variável de confusão imprevisível.
Flask
Obrigado - então minha opinião sobre esse assunto é que os estudiosos que não controlam os fatores de confusão esperados (a posição da gaiola) fazem uma inferência potencialmente falsa sobre os efeitos do tratamento e conduzem pesquisas sub-ótimas. Variáveis ​​ocultas não podem ser controladas, pois são inesperadas; portanto, é uma questão de má sorte, se elas ocorrerem. Isso é menos problemático, se observado, o que os torna controláveis ​​post-hoc. Os perigosos são os espreitadores não observados e, portanto, desconhecidos. A análise de sensibilidade pode ser aconselhável se houver suspeita.
Tomka
@tomka Foi por isso que fiz a pergunta sobre o que foi relatado. Existem muitas etapas em experimentos que os pesquisadores não pensam em aleatorizar porque pensam que são provavelmente irrelevantes e seria necessário um esforço extra para fazê-lo (possivelmente adicionando horas todos os dias ao trabalho) ou introduzir a chance de cometer um erro na rotulagem. No exemplo de chá de degustação de dama de Fisher, ele diz que randomiza a ordem de tudo, isso é menos prático para muitos experimentos pré-clínicos.
Flask
Lembre-se de que o objetivo da atribuição aleatória não é equilibrar variáveis ​​não controladas, mas sim fazer com que as diferenças sejam aleatórias. A lógica básica de um teste de significância é fornecer um teste para determinar se variáveis ​​aleatórias não controladas poderiam explicar de maneira plausível os resultados. Em outras palavras, um estudo não precisa medir variáveis ​​à espreita para ser válido.
David Lane

Respostas:

5

Alguns exemplos de pesquisas clínicas podem ser variáveis ​​que surgem após a randomização - a randomização não o protege de maneira alguma. Alguns em cima da minha cabeça, que foram levantados como possibilidades ou foram anotados:

  • Mudanças de comportamento após a circuncisão masculina voluntária para prevenção do HIV
  • Perda diferencial no acompanhamento entre os braços de tratamento e controle de um ECR
  • Um exemplo mais específico pode incluir o recente estudo "Benefits of Universal Gowning and Gloving", que trata da prevenção de infecções hospitalares ( comentário no blog aqui , o artigo está por trás de um paywall). Além da intervenção, e potencialmente por causa disso, as taxas de higiene das mãos e as taxas de contato entre pacientes e funcionários / visitantes foram alteradas.

A randomização protege contra nenhum desses efeitos, porque eles surgem após a randomização.

Fomite
fonte
3

Aqui está um exemplo que encontrei para dados de microarray. Foi relatado que a expressão medida está fortemente correlacionada com a posição nos "chips". Este é um caso em que a randomização da posição das amostras pode levar a uma chance maior de cometer um erro de rotulagem, de modo que aqueles que executam o trabalho técnico podem optar por não fazer a randomização se não acharem importante.

A atribuição aleatória de unidades experimentais a tratamentos controla a probabilidade de que qualquer outro fator que não seja o tratamento seja a causa da associação (1,2) ⁠. Em algumas plataformas de microarrays, como Illumina® e NimbleGenTM, várias amostras biológicas podem ser hibridizadas em um único chip. Os efeitos da posição do chip e da amostra podem afetar a precisão e a reprodutibilidade das experiências com microarrays, a menos que o equilíbrio e a randomização sejam considerados no projeto experimental (4). Nosso objetivo foi comparar o impacto desses efeitos em um experimento confundido e randomizado.

Importância da randomização em projetos experimentais de microarrays com plataformas Illumina

Ricardo A. Verdugo, Christian F. Deschepper e Gary A. Churchill. O Laboratório Jackson, Bar Harbor, ME 04609, Institut de Recherches Cliniques, Montreal, QC, Canadá.

Frasco
fonte
1

Eu tenho um exemplo que pode ser um pouco diferente do que você originalmente pretendia quando fez essa pergunta. Nos últimos dois anos, houve uma discussão em psicologia sobre a causa da falta de replicabilidade dos efeitos de experimentos aleatórios. Versões desse debate vêm à tona há muitos anos, mas o debate se tornou mais estridente desde a publicação de um artigo que mostra que muitas práticas que são padrão em psicologia na formulação de hipóteses, coleta de dados, análise de dados e relatório de resultados permitem que os pesquisadores encontrem resultados que apoiem hipóteses escolhidas arbitrariamente (no artigo original, os pesquisadores usaram essas práticas para mostrar que ouvir "When I'm Sixty-Four", dos Beatles, tornou as pessoas mais jovens).

A raiz do problema, é claro, são as estruturas de incentivo difundidas na psicologia (e em outras ciências) para obter resultados novos, positivos e "publicáveis". Esses incentivos incentivam os pesquisadores a adotar práticas que, embora não tão obviamente "erradas" quanto a fabricação de dados, levam a um aumento da taxa de resultados falso-positivos. Essas práticas incluem:

  1. A coleção de variáveis ​​dependentes múltiplas e altamente semelhantes. Somente a variável dependente que produz os resultados mais consistentes com a hipótese original é relatada.
  2. Durante a coleta de dados, teste para obter resultados significativos várias vezes e interrompa a coleta de dados quando a significância for obtida.
  3. Durante a análise, a inclusão de múltiplas covariáveis ​​no modelo estatístico. No artigo final, apenas a combinação de covariáveis ​​que leva a resultados mais consistentes com a hipótese original é relatada.
  4. Eliminar as condições que levam a resultados inconsistentes com as hipóteses originais e não reportar essas condições no documento.

E assim por diante.

Eu argumentaria que a "variável oculta" nesses casos é a estrutura de incentivos que recompensa os pesquisadores por obter resultados positivos "publicáveis". De fato, já houve vários resultados de alto nível em psicologia (muitos dos quais estão na minha especialidade, psicologia social) que não foram replicados. Muitos fracassam na replicação, argumentam, que questionam subcampos inteiros da psicologia.

Certamente, o problema das estruturas de incentivo que incentivam falsos positivos não é exclusivo da psicologia; esse é um problema endêmico para toda a ciência e, portanto, para todos os ensaios clínicos randomizados.

Referências

Simmons, JP, Nelson, LD, e Simonsohn, U. (2011). Psicologia falso-positiva: A flexibilidade não revelada na coleta e análise de dados permite apresentar algo tão significativo. Psychological Science , 17, 1359-1366.

Nosek, BA, Spies, JR e Motyl, M. (2012). Utopia científica: II. Reestruturar incentivos e práticas para promover a verdade sobre a publicabilidade. Perspectives on Psychological Science , 7, 615-631.

Yong, E. (2012). Cópia incorreta. Nature , 485, 298-300.

Abbott, A. (2013). A disputa resulta em um novo golpe para a psicologia social. Nature , 497, 16.

Patrick S. Forscher
fonte