Que maneiras existem para mostrar que dois métodos analíticos são equivalentes?

11

Eu tenho dois métodos analíticos diferentes que podem medir a concentração de uma molécula específica em uma matriz (por exemplo, medir a quantidade de sal na água)

Os dois métodos são diferentes e cada um tem seu próprio erro. Quais maneiras existem para mostrar os dois métodos são equivalentes (ou não).

Estou pensando que plotar os resultados de várias amostras medidas pelos dois métodos em um gráfico de dispersão é um bom primeiro passo, mas existem bons métodos estatísticos?

PaulHurleyuk
fonte
Você pode fornecer mais detalhes em sua pergunta? Não entendo o que é "a concentração de uma molécula em particular em uma matriz".
Robin girard
2
@robin: "matriz", neste contexto, é a terminologia química analítica padrão; refere-se ao meio em que as entidades a serem analisadas (os "analitos") podem ser encontradas. Por exemplo, se você está analisando a concentração de chumbo na água da torneira, o chumbo é o analito e a água é a matriz.
JM não é estatístico

Respostas:

13

A abordagem de correlação simples não é a maneira correta de analisar os resultados dos estudos de comparação de métodos. Existem (pelo menos) dois livros altamente recomendados sobre esse tópico que referenciei no final (1,2). Resumidamente, ao comparar métodos de medição, geralmente esperamos que (a) nossas conclusões não dependam da amostra específica usada para a comparação e (b) o erro de medição associado ao instrumento de medição específico deva ser considerado. Isso exclui qualquer método baseado em correlações, e voltaremos nossa atenção para componentes de variação ou modelos de efeitos mistos que permitam refletir o efeito sistemático do item (aqui, item significa indivíduo ou amostra em que os dados são coletados), que resulta de (uma).

No seu caso, você tem medidas únicas coletadas usando dois métodos diferentes (suponho que nenhum deles possa ser considerado um padrão-ouro) e a coisa mais básica a fazer é plotar as diferenças ( ) versus os meios ( ); isso é chamado de um . Isso permitirá que você verifique se (1) as variações entre os dois conjuntos de medidas são constantes e (2) a variação da diferença é constante na faixa de valores observados. Basicamente, esta é apenas uma rotação de 45 ° de um gráfico de dispersão simples de vs. , e sua interpretação é próxima de um gráfico de valores ajustados versus residuais usados ​​na regressão linear. Então, ( X 1 + X 2 ) / 2 X 1 X 2X1X2(X1+X2)/2X1X2

  • se a diferença for constante ( viés constante ), você poderá calcular o limite de concordância (consulte (3))
  • se a diferença não for constante na faixa de medição, você poderá ajustar um modelo de regressão linear entre os dois métodos (escolha o que deseja como preditor)
  • se a variação das diferenças não for constante, tente encontrar uma transformação adequada que torne o relacionamento linear com variação constante

Outros detalhes podem ser encontrados em (2), capítulo 4.

Referências

  1. Dunn, G. (2004). Projeto e análise de estudos de confiabilidade . Arnold. Veja a revisão no International Journal of Epidemiology .
  2. Carstensen, B. (2010). Comparando métodos de medição clínica . Wiley. Consulte o site complementar , incluindo o código R.
  3. O artigo original de Bland e Altman, Métodos estatísticos para avaliar a concordância entre dois métodos de medição clínica .
  4. Carstensen, B. (2004). Comparação e previsão entre vários métodos de medição . Bioestatística , 5 (3) , 399-413.
chl
fonte
você se importaria de esclarecer o que quer dizer com "(a) nossas conclusões não devem depender da amostra específica usada para a comparação"? Estou tendo problemas devido à ambiguidade de "amostra" neste contexto: significa "amostra estatística" (um conjunto de dados que se supõe representar um processo ou população) ou "amostra ambiental" (um pouco de água, solo, ar ou tecido, normalmente). De qualquer forma, não consigo traçar a linha lógica para sua conclusão de que isso "exclui qualquer método baseado em correlações".
whuber
@whuber Bem, quero dizer a coleta de dados observados (por exemplo, concentração de glicose) que, idealmente, devem ser representativos da faixa provável do que está sendo medido. Confiar na correlação pode ser enganoso, pois depende das unidades amostradas (por exemplo, pacientes em um hospital): podemos obter uma correlação mais alta apenas obtendo uma ou mais medidas extremas em qualquer uma das escalas, embora a relação entre os dois métodos ainda seja a mesma . Portanto, a ideia é que a distribuição da medida de interesse não deva influenciar nossa conclusão sobre a comparabilidade dos métodos. (...)
chl
@whuber (...) O que queremos avaliar é o acordo além dos dados , não a relação nos dados (estou citando Carstensen 2010, p. 8-9).
chl
Obrigado; isso esclarece bem sua posição. Este é essencialmente um exercício de calibração, exceto pelo fato de não parecermos ter um padrão de referência para comparação; simplesmente assumimos que as amostras físicas escolhidas pelo pesquisador abrangem uma gama de concentrações verdadeiras. Assim, como você escreve, a correlação em si não é necessariamente uma medida útil de concordância entre os dois métodos. Normalmente, porém, especialmente para análises químicas, a verdadeira concentração é conhecida (porque o pesquisador introduziu uma quantidade conhecida de uma substância na matriz).
whuber
@whuber Isso mesmo. Na ausência de um padrão-ouro, estamos apenas interessados ​​na medida em que os dois métodos produzem resultados "comparáveis", daí a idéia de confiar nos chamados limites de concordância. Embora a verdadeira medida possa ser conhecida antecipadamente, cada instrumento de medição carrega seu próprio erro de medição - pelo menos para aqueles com os quais eu costumava lidar nos domínios biomédico (por exemplo, concentração de glicose no sangue) e neuropsicológico (por exemplo, nível de depressão).
chl
2

Se você não tem como saber a verdadeira concentração, a abordagem mais simples seria uma correlação. Um passo além disso pode ser realizar uma regressão simples prevendo o resultado no método 2 usando o método 1 (ou vice-versa). Se os métodos forem idênticos, a interceptação deve ser 0; se a interceptação for maior ou menor que 0, isso indicaria o viés de um método em relação a outro. A inclinação não padronizada deve ser próxima de 1 se os métodos, em média, produzirem resultados idênticos (após o controle de um viés para cima ou para baixo na interceptação). O erro na inclinação não padronizada pode servir como um índice da extensão em que os dois métodos concordam.

Parece-me que a dificuldade com os métodos estatísticos aqui que você está tentando afirmar é tipicamente colocada como uma hipótese nula, ou seja, que não há diferenças entre os métodos. Isso não é um golpe mortal para o uso de métodos estatísticos, desde que você não precise de um valor de p, e você pode quantificar o que você quer dizer com "equivalente" e pode decidir quanto desvio os dois métodos podem ter um do outro antes que você não precise mais considere-os equivalentes. Na abordagem de regressão que eu detalhei acima, você pode considerar os métodos equivalentes se o intervalo de confiança em torno da estimativa da inclinação incluísse 1 e o IC em torno da interceptação incluísse 0.

russellpierce
fonte
Em quimiometria, as respostas do instrumento são frequentemente não lineares e heterocedásticas. No mínimo, isso impõe uma certa cautela ao conduzir e interpretar a regressão.
whuber
1

Eu concordo com @drnexus. Além disso, eu poderia recomendar um teste de Morgan-Pitman para a igualdade de variâncias dos dois métodos. Isso indicaria se um método tem mais variação que o outro. Isso por si só pode não ser uma coisa ruim, porque presumivelmente os dois testes têm trocas diferentes de variação de viés (por exemplo, um teste pode sempre dizer 50% (tendencioso, mas sem variação) enquanto o outro é imparcial, mas muito barulhento). Algum conhecimento de domínio pode ser útil aqui para determinar quanto tradeoff você deseja do seu método. Obviamente, como observado por outros, ter um 'padrão ouro' seria muito preferido.

shabbychef
fonte
1

Uma pergunta bastante antiga, mas como surgiu novamente hoje:

A palavra-chave geral é "validação em química analítica" e, como tal, é um pouco fora de tópico aqui (mas como não há site de química aqui (ainda: http://area51.stackexchange.com/proposals/4964/chemistry , I acho que podemos deixar aqui por enquanto)

Existem alguns procedimentos padrão em química analítica para isso.

Livros:

  • Funk et. al: Garantia de Qualidade em Química Analítica, Wiley-VCH.

  • Kromidas (Hrsg.): Handbuch Validierung in der Analytik, Wiley-VCH
    (não sei se há uma versão em inglês e ainda não a tenho.) Mas o índice lista a validação da calibração multivariada.

A IUPAC também tem algo a dizer sobre isso:

  • Danzer, K. e Currie, LA: Diretrizes para calibração em química analítica. Parte I. Fundamentos e calibração de componente único, Química Pura e Aplicada, IUPAC, 1998, 4, 993-1014

  • Danzer, K. e Otto, M. e Currie, LA: Diretrizes para calibração em química analítica. Parte 2: Calibração multicomponente Química Pura e Aplicada, 2004, 76, 1215-1225

cbeleites descontentes com o SX
fonte
0

Seu uso da frase 'métodos analíticos' é um pouco confuso para mim. Vou assumir que por "métodos analíticos" você quer dizer algum modelo / estratégia de estimativa específica.

Em termos gerais, existem dois tipos de métricas que você pode usar para escolher entre estimadores.

Métricas na amostra

  • Razão de verossimilhança / teste de Wald / teste de pontuação
  • R 2
  • Taxas de acerto na amostra (porcentagem de previsões corretas para dados de amostra)
  • (Muitas outras métricas, dependendo do modelo / contexto de estimativa)

Métricas fora da amostra

  • Taxas de acerto fora da amostra (porcentagem de previsões corretas para dados fora da amostra)

Se as estimativas forem equivalentes, elas teriam um desempenho igualmente bom nessas métricas. Você também pode ver se as estimativas não são estatisticamente diferentes umas das outras (como o teste de igualdade de médias de duas amostras), mas a metodologia para isso dependeria das especificidades do modelo e do método.


fonte
Desculpe, eu queria dizer um método de medição analítica. Eu reformulei a pergunta.
PaulHurleyuk
Nesse caso, acho que o teste de igualdade de duas amostras para médias / proporções é o que você pode querer fazer.
2
Um teste de médias / proporções não forneceria apenas uma estimativa pontual de se os dois métodos deram a mesma resposta média para um determinado conjunto de respostas? Essa abordagem não poderia produzir um resultado "igual", mesmo que os dois métodos estivessem realmente correlacionados negativamente um com o outro?
russellpierce
Essa é uma boa opinião.