Teste estatístico para comparar a precisão de dois dispositivos

10

Estou comparando dois dispositivos de controle de temperatura, ambos projetados para manter a temperatura corporal em exatamente 37 graus em pacientes anestesiados. Os dispositivos foram ajustados para 500 pacientes, formando dois grupos. Grupo A (400 pacientes) - Dispositivo 1, Grupo B (100 pacientes) - Dispositivo 2. Cada paciente teve sua temperatura medida uma vez a cada hora durante 36 horas, fornecendo 18.000 pontos de dados em dois grupos. Preciso determinar qual dispositivo controla a temperatura corporal dos pacientes com mais precisão durante o período de 36 horas. Construí gráficos de linhas unindo os valores medianos em cada ponto do tempo com barras de quartil e, visualmente, parece haver uma diferença. Como devo analisar meus dados para provar uma diferença estatística?

RikT
fonte
Você compartilhou pacientes entre dispositivos? Caso contrário, deve haver uma suposição adicional de que os pacientes em dois grupos são semelhantes em um sentido amplo.
Aksakal
Que tal um modelo de efeitos mistos? Erros padrão para cada nível (grupo A / B) diriam, de certa forma, a precisão das medições. Você pode explicar a série temporal e os pacientes.
Roman Luštrik 01/09/14

Respostas:

2

o

Ao formular esse tipo de métrica, você está adotando implicitamente uma "função de penalidade" que penaliza as temperaturas que se desviam da temperatura desejada. Uma opção seria medir a "precisão" pela variação mais baixa em torno da temperatura desejada (tratando-a como a média fixa para o cálculo da variação). A variação penaliza por erro ao quadrado, de modo que fornece uma penalização razoável por altos desvios. Outra opção seria penalizar mais fortemente (por exemplo, erro em cubo). Outra opção seria simplesmente medir a quantidade de tempo que cada dispositivo mantém o paciente fora da faixa de temperatura que é medicamente segura. De qualquer forma, o que você escolher deve refletir os perigos percebidos do desvio da temperatura desejada.

Depois de determinar o que constitui uma métrica de "boa precisão", você estará formulando algum tipo de "teste de heterocedasticidade", formulado no sentido mais amplo de permitir qualquer medida de precisão que você esteja usando. Não tenho certeza se concordo com o comentário de whuber de ajustar a autocorrelação. Depende realmente da sua formulação de perda - afinal, permanecer em uma faixa de temperatura alta por um longo período de tempo pode ser exatamente a coisa mais perigosa; portanto, se você voltar a considerar a correlação automática, poderá terminar falha na penalização de resultados altamente perigosos o suficiente.

Ben - Restabelecer Monica
fonte
0

Este é um teste de homoscedasticidade. E por se tratar de uma série temporal, a escolha apropriada é o teste Breusch-Pagan , não o teste F. Este teste responde apenas SOMENTE à questão da igualdade de precisão entre os dois dispositivos. O nível de precisão é outra maneira de pensar na variação.

[Editar: Alterou o teste para o correto, considerando a dependência de tempo]

Gary Chung
fonte
3
Essa abordagem é razoável. Mas por que não realizar os dois objetivos diretamente, comparando as dispersões em torno da temperatura alvo e não as variações (que medem apenas as dispersões em torno das temperaturas médias)? Uma questão importante a verificar primeiro diz respeito à correlação serial: se for alta, é necessário fazer alguma correção (como reduzir os graus de liberdade nos testes). Outra questão diz respeito à perda : a função de perda provavelmente não é quadrática. Talvez as pessoas possam prontamente tolerar pequenas flutuações, mas a ocorrência de uma grande flutuação pode prejudicar. Isso deve ser explorado.
whuber
@whuber Em relação à comparação da temperatura desejada, se fosse eu, era exatamente o que eu faria. O OP especificamente fez a pergunta da variação, portanto, independentemente de nossas inclinações, precisamos abordar isso diretamente, sim? :)
Gary Chung
2
O problema para um teste F não será a normalidade, provavelmente será a independência. Estas são séries temporais.
Glen_b -instala Monica
@Glen_b Não acredito que perdi esse ponto. Obrigado por apanhar isso. Editado.
Gary Chung
9
Com relação a, não: a diferença entre este site e, digamos, o site de Matemática é que uma parte substancial da resposta a uma pergunta estatística envolve ajudar o OP a enquadrá-lo como pretendia. Muitas vezes, as respostas corretas para as perguntas, como as feitas aqui originalmente, são menos que úteis ou até enganosas. Portanto, nossa primeira tarefa como leitores ativos e possíveis respondentes é verificar se estamos interpretando a pergunta de uma maneira útil e apropriada e fornecer respostas que melhor atendam aos objetivos do OP. Use comentários para a pergunta para fazer perguntas esclarecedoras e verifique sua interpretação.
whuber
0

Se você estiver interessado em saber como os dispositivos mantêm uma temperatura de 37 ° C, você pode:

  1. Use todos os dados disponíveis de cada pessoa como estão ou
  2. Estime o desvio médio por pessoa de 37C usando as 36 tentativas de cada pessoa.

Os dados naturalmente se prestam ao tratamento de medidas repetidas. Ao tratar os ensaios em pessoa como clusters, você reduzirá a probabilidade de um intervalo de confiança falsamente estimado em torno do efeito do dispositivo. Além disso, você pode testar o efeito do tempo entre os dois dispositivos ou como uma interação com o dispositivo para verificar se a manutenção da temperatura ao longo do tempo foi boa. Encontrar uma maneira de visualizar tudo isso é de fundamental importância e pode sugerir uma abordagem em detrimento de outra. Algo ao longo das linhas de:

library(dplyr)
library(lme4)

set.seed(42)
id <- rep(1:500, each=36)
time <- rep(1:36,500)
temp <- c(rnorm(36*400, 38,0.5), rnorm(36*100,37.25,0.5))
temp <- temp + 1/time

prox_37 <- temp - 37
group <- c(rep("A",36*400), rep("B",36*100))
graph_t <- ifelse(group=="A", time-0.25, time+0.25)
df <- data.frame(id,time,temp,prox_37,group, graph_t)

id_means <- group_by(df, id) %>% summarize(mean_37 = mean(prox_37))
id_means$group <- c(rep("A",400), rep("B",100))

boxplot(id_means$mean_37 ~ id_means$group)

plot(graph_t, prox_37, col=as.factor(group))
loess_fit <- loess(prox_37 ~ time, data = df)
lines(c(1:36), predict(loess_fit, newdata= c(1:36)) , col = "blue")

summary(t.test(mean_37 ~group, data=id_means))

model1 <- glm(prox_37 ~ as.factor(group), family = "gaussian", data=df)
model2 <- lmer(prox_37 ~ as.factor(group) + (1 | id), data=df)
model3 <- lmer(prox_37 ~ as.factor(group) + time + (1 | id), data=df)
model4 <- lmer(prox_37 ~ as.factor(group) + time + time*as.factor(group) + (1 | id), data=df)

AIC(model1)
summary(model2)
summary(model3)
summary(model4)

insira a descrição da imagem aqui

Todd D
fonte