Diferenças de linha de base no ECR: Quais variáveis ​​(se houver) devem ser incluídas como covariáveis?

8

Recentemente, completei um estudo em que designei aleatoriamente os participantes para um dos dois grupos de tratamento. Testei os participantes na linha de base, imediatamente após a intervenção, 1 mês e 4 meses em um número um pouco grande de variáveis ​​de resultado. Eu estava planejando executar várias ANOVAs mistas para examinar as interações grupo x tempo. Algumas das comparações serão comparações 2 (grupo) x 2 (tempo: linha de base e pós-intervenção) e algumas serão comparações 2 (grupo) x 3 (tempo: linha de base, 1 mês, 4 meses).

Antes de iniciar minhas análises, comparei os dois grupos de tratamento em todas as variáveis ​​de linha de base. Descobri que os grupos diferem em 4 variáveis ​​de linha de base se eu usar um nível alfa de 0,05 ou 2 variáveis ​​de linha de base se eu usar um nível de alfa de 0,01 para comparar os grupos.

Eu tenho duas perguntas sobre isso:

  1. Qual nível alfa devo usar para comparar os grupos na linha de base? Eu estava pensando em um nível alfa de 0,01 porque estou comparando os dois grupos com 24 características da linha de base e achei que deveria escolher um nível alfa mais rigoroso que 0,05 para reduzir a taxa de erro familiar, visto que um grande número de testes está sendo realizado. realizado, mas pelas minhas leituras parece que a maioria das pessoas usa 0,05. O que você recomenda?

  2. O que faço sobre essas diferenças? Eu poderia incluir essas variáveis ​​como covariáveis, mas o tamanho da minha amostra é bastante pequeno e o uso de quatro covariáveis ​​não parece apropriado (o que também é em parte o motivo de eu estar favorecendo apenas a aceitação de diferenças se forem significativas no nível 0,05).

Qualquer ajuda sobre isso seria muito apreciada!

mixed-model ancova Rachel
fonte

Respostas:

8

Como Stephen Senn escreveu, não é apropriado comparar as distribuições de linha de base em um estudo randomizado. O jeito que eu gosto de falar sobre isso é fazer a pergunta "onde você para?", Ou seja, quantas outras covariáveis ​​da linha de base você deve voltar e tentar recuperar? Você encontrará covariáveis ​​de contrapeso se você se esforçar o suficiente.

A base para a escolha de um modelo não são diferenças post-hoc, mas apriori o conhecimento do assunto sobre quais variáveis ​​provavelmente são preditores importantes da variável de resposta. A versão de linha de base da variável resposta é certamente um preditor dominante, mas há outros que provavelmente serão importantes. O objetivo é explicar a heterogeneidade explicável no resultado para maximizar a precisão e o poder. Quase não há papel para o teste de significância estatística na formulação do modelo.

Um modelo pré-especificado cuidará das diferenças de chance nas variáveis ​​importantes - aquelas que prevêem o resultado.

Frank Harrell
fonte
Obrigado a todos por suas respostas. As variáveis ​​de linha de base que diferem entre si com base nos múltiplos testes t são os níveis de linha de base de algumas das variáveis ​​de resultado (por exemplo, os escores de depressão na linha de base diferiram e a depressão em 1 e 4 meses é uma das medidas de resultado).
Rachel
3

Normalmente, o que você deve se preocupar em comparar os dois grupos na linha de base não é tanto a significância estatística das diferenças, mas o tamanho das diferenças: alguma dessas diferenças é grande o suficiente para importar para o estudo? Grande o suficiente para afetar as comparações de grupo e as relações variáveis ​​que são o foco da pesquisa? Grande o suficiente para que seja necessário ajustá-lo (usando-o como covariável)?

Agora, seu caso é um pouco interessante, pois mesmo com tarefas aleatórias, você tem 4 de 24 variáveis ​​que mostram diferenças significativas no nível 0,05 (17% em vez dos 5% esperados). Isso pode parecer preocupante para o seu processo de randomização ou algum outro aspecto do estudo. Mas, teoricamente, se a randomização fosse feita na perfeição e depois não houvesse atrito em nenhum dos grupos, um resultado esse extremo ou mais deve ocorrer 2,4% do tempo, com base em 24! / (4! (24-4)!) ( .05 ^ 4) (.95 ^ (24-4)). Afinal, não é realmente uma ocorrência tão rara. O que você tem pode muito bem ser um conjunto de diferenças aleatórias. Eu ficaria com o julgamento com base na magnitude das diferenças.

rolando2
fonte
2
Excelente ponto sobre multiplicidade. Em relação à avaliação das diferenças, acho que procurar grandes diferenças está muito correlacionado com a busca de pequenos valores de P; Eu também não recomendo.
precisa
Como sei se alguma dessas diferenças é grande o suficiente para importar para o estudo e grande o suficiente para que seja necessário ajustá-lo (usando-o como covariável)? O tamanho do efeito para cada uma das quatro diferenças na linha de base (usando d de Cohen) é 0,78, 0,64, 1,06 e 0,89, respectivamente.
Rachel
2
Você não pode e não pode. Pense em formular o modelo certo antecipadamente, em vez de ajustes post hoc.
precisa
Ok, isso faz sentido. Devo analisar meus resultados de outra maneira e não usando um design de modelo misto? Ou é suficiente mencionar as diferenças, mas não ajustá-las?
Rachel
3
Meu único pensamento é perguntar a um especialista no assunto quais são os possíveis preditores importantes da variável resposta, sem informar o especialista sobre as diferenças encontradas e, em seguida, ajustar esses preditores.
precisa
2

+1 para @FrankHarrell. Eu poderia acrescentar um pequeno ponto. Se você designou aleatoriamente seus participantes para os grupos, quaisquer diferenças 'significativas' nos valores de covariáveis ​​antes da intervenção são necessariamente erros do tipo I.

- Reinstate Monica
fonte
1
Muito bem, e seu comentário aponta a dificuldade de especificar exatamente a que objetivo se destina o teste de diferença de linha de base da inferência da população.
precisa
2
@gung -hello! O que dizer deste ponto de vista: em um ECR, os dois grupos são tudo o que temos. É claro que eles vêm da mesma população: não há duas populações sobre as quais cometer erros, tipo I ou outros. Portanto, a significância estatística é irrelevante, mas grandes diferenças podem muito bem importar e podem exigir ajustes através do uso de covariáveis.
Rolando2
2
Gosto da primeira parte, mas a última parte é mais complexa do que parece, e os ajustes post-hoc podem criar um viés, ao falhar em ajustar os explicadores de grande heterogeneidade da resposta. Além disso, os dados são incapazes de nos dizer qual conjunto de covariáveis ​​ajustar.
precisa
@ rolando2, a maneira como penso é: Sua população é a população da qual sua amostra foi coletada; o 'tratamento' é o seu procedimento de atribuição aleatória; & a variável de resposta é a covariável que você está verificando. O teste t verifica se o procedimento de atribuição aleatória está associado ao valor médio da covariável. Agora, se o seu procedimento de atribuição for defeituoso, é perfeitamente razoável que ele possa estar associado aos valores covariáveis ​​resultantes, mas se for verdadeiramente aleatório, por definição, não poderá ser e, portanto, toda descoberta "significativa" é um erro do tipo I .
gung - Restabelece Monica
2
Você está se ajustando para sua variável de resultado na linha de base de qualquer maneira; isso é padrão. Você então confia que seu procedimento de randomização é válido e, portanto, fornece inferências válidas. Se você acredita que seu procedimento de atribuição foi falho e que suas inferências resultantes são inválidas, você deve começar novamente reunindo uma nova amostra, designando seus participantes para grupos de tratamento por meio de um procedimento verdadeiramente aleatório que permitirá que você tenha confiança em suas conclusões, & re-executando o estudo.
gung - Restabelece Monica