Que maneiras existem para mostrar que dois métodos analíticos são equivalentes?

Eu tenho dois métodos analíticos diferentes que podem medir a concentração de uma molécula específica em uma matriz (por exemplo, medir a quantidade de sal na água)

Os dois métodos são diferentes e cada um tem seu próprio erro. Quais maneiras existem para mostrar os dois métodos são equivalentes (ou não).

Estou pensando que plotar os resultados de várias amostras medidas pelos dois métodos em um gráfico de dispersão é um bom primeiro passo, mas existem bons métodos estatísticos?

A abordagem de correlação simples não é a maneira correta de analisar os resultados dos estudos de comparação de métodos. Existem (pelo menos) dois livros altamente recomendados sobre esse tópico que referenciei no final (1,2). Resumidamente, ao comparar métodos de medição, geralmente esperamos que (a) nossas conclusões não dependam da amostra específica usada para a comparação e (b) o erro de medição associado ao instrumento de medição específico deva ser considerado. Isso exclui qualquer método baseado em correlações, e voltaremos nossa atenção para componentes de variação ou modelos de efeitos mistos que permitam refletir o efeito sistemático do item (aqui, item significa indivíduo ou amostra em que os dados são coletados), que resulta de (uma).

No seu caso, você tem medidas únicas coletadas usando dois métodos diferentes (suponho que nenhum deles possa ser considerado um padrão-ouro) e a coisa mais básica a fazer é plotar as diferenças ( ) versus os meios ( ); isso é chamado de um enredo sem graça-altman . Isso permitirá que você verifique se (1) as variações entre os dois conjuntos de medidas são constantes e (2) a variação da diferença é constante na faixa de valores observados. Basicamente, esta é apenas uma rotação de 45 ° de um gráfico de dispersão simples de vs. , e sua interpretação é próxima de um gráfico de valores ajustados versus residuais usados ​​na regressão linear. Então, ( X 1 + X 2 ) / 2 X 1 X $X_1-X_2$$(X_1+X_2)/2$$X_1$$X_2$

• se a diferença for constante ( viés constante ), você poderá calcular o limite de concordância (consulte (3))
• se a diferença não for constante na faixa de medição, você poderá ajustar um modelo de regressão linear entre os dois métodos (escolha o que deseja como preditor)
• se a variação das diferenças não for constante, tente encontrar uma transformação adequada que torne o relacionamento linear com variação constante

Outros detalhes podem ser encontrados em (2), capítulo 4.

Referências

1. Dunn, G. (2004). Projeto e análise de estudos de confiabilidade . Arnold. Veja a revisão no International Journal of Epidemiology .
2. Carstensen, B. (2010). Comparando métodos de medição clínica . Wiley. Consulte o site complementar , incluindo o código R.
3. O artigo original de Bland e Altman, Métodos estatísticos para avaliar a concordância entre dois métodos de medição clínica .
4. Carstensen, B. (2004). Comparação e previsão entre vários métodos de medição . Bioestatística , 5 (3) , 399-413.

Se você não tem como saber a verdadeira concentração, a abordagem mais simples seria uma correlação. Um passo além disso pode ser realizar uma regressão simples prevendo o resultado no método 2 usando o método 1 (ou vice-versa). Se os métodos forem idênticos, a interceptação deve ser 0; se a interceptação for maior ou menor que 0, isso indicaria o viés de um método em relação a outro. A inclinação não padronizada deve ser próxima de 1 se os métodos, em média, produzirem resultados idênticos (após o controle de um viés para cima ou para baixo na interceptação). O erro na inclinação não padronizada pode servir como um índice da extensão em que os dois métodos concordam.

Parece-me que a dificuldade com os métodos estatísticos aqui que você está tentando afirmar é tipicamente colocada como uma hipótese nula, ou seja, que não há diferenças entre os métodos. Isso não é um golpe mortal para o uso de métodos estatísticos, desde que você não precise de um valor de p, e você pode quantificar o que você quer dizer com "equivalente" e pode decidir quanto desvio os dois métodos podem ter um do outro antes que você não precise mais considere-os equivalentes. Na abordagem de regressão que eu detalhei acima, você pode considerar os métodos equivalentes se o intervalo de confiança em torno da estimativa da inclinação incluísse 1 e o IC em torno da interceptação incluísse 0.

Eu concordo com @drnexus. Além disso, eu poderia recomendar um teste de Morgan-Pitman para a igualdade de variâncias dos dois métodos. Isso indicaria se um método tem mais variação que o outro. Isso por si só pode não ser uma coisa ruim, porque presumivelmente os dois testes têm trocas diferentes de variação de viés (por exemplo, um teste pode sempre dizer 50% (tendencioso, mas sem variação) enquanto o outro é imparcial, mas muito barulhento). Algum conhecimento de domínio pode ser útil aqui para determinar quanto tradeoff você deseja do seu método. Obviamente, como observado por outros, ter um 'padrão ouro' seria muito preferido.

Uma pergunta bastante antiga, mas como surgiu novamente hoje:

A palavra-chave geral é "validação em química analítica" e, como tal, é um pouco fora de tópico aqui (mas como não há site de química aqui (ainda: http://area51.stackexchange.com/proposals/4964/chemistry , I acho que podemos deixar aqui por enquanto)

Existem alguns procedimentos padrão em química analítica para isso.

Livros:

• Funk et. al: Garantia de Qualidade em Química Analítica, Wiley-VCH.

• Kromidas (Hrsg.): Handbuch Validierung in der Analytik, Wiley-VCH
  (não sei se há uma versão em inglês e ainda não a tenho.) Mas o índice lista a validação da calibração multivariada.

A IUPAC também tem algo a dizer sobre isso:

• Danzer, K. e Currie, LA: Diretrizes para calibração em química analítica. Parte I. Fundamentos e calibração de componente único, Química Pura e Aplicada, IUPAC, 1998, 4, 993-1014

• Danzer, K. e Otto, M. e Currie, LA: Diretrizes para calibração em química analítica. Parte 2: Calibração multicomponente Química Pura e Aplicada, 2004, 76, 1215-1225

Seu uso da frase 'métodos analíticos' é um pouco confuso para mim. Vou assumir que por "métodos analíticos" você quer dizer algum modelo / estratégia de estimativa específica.

Em termos gerais, existem dois tipos de métricas que você pode usar para escolher entre estimadores.

Métricas na amostra

• Razão de verossimilhança / teste de Wald / teste de pontuação
• R ²
• Taxas de acerto na amostra (porcentagem de previsões corretas para dados de amostra)
• (Muitas outras métricas, dependendo do modelo / contexto de estimativa)

Métricas fora da amostra

• Taxas de acerto fora da amostra (porcentagem de previsões corretas para dados fora da amostra)

Se as estimativas forem equivalentes, elas teriam um desempenho igualmente bom nessas métricas. Você também pode ver se as estimativas não são estatisticamente diferentes umas das outras (como o teste de igualdade de médias de duas amostras), mas a metodologia para isso dependeria das especificidades do modelo e do método.