O que as curvas ROC lhe dizem que a inferência tradicional não faria?

Quando você tenderia a usar as curvas ROC sobre outros testes para determinar a capacidade preditiva de alguma medida em um resultado?

Ao lidar com resultados discretos (vivo / morto, presente / ausente), o que torna as curvas ROC mais ou menos poderosas do que algo como um qui-quadrado?

A função ROC (não é necessariamente uma curva) permite avaliar a capacidade de discriminação fornecida por um modelo estatístico específico (composto por uma variável preditora ou um conjunto deles).

Uma consideração principal dos ROCs é que as previsões do modelo não derivam apenas da capacidade do modelo de discriminar / fazer previsões com base nas evidências fornecidas pelas variáveis ​​preditoras. Também está em operação um critério de resposta que define quanta evidência é necessária para o modelo prever uma resposta e qual é o resultado dessas respostas. O valor estabelecido para os critérios de resposta influenciará bastante as previsões do modelo e, finalmente, o tipo de erro que ele cometerá.

Considere um modelo genérico com variáveis ​​preditivas e um critério de resposta. Este modelo está tentando prever a presença de X, respondendo Sim ou Não. Portanto, você tem a seguinte matriz de confusão:

                                **X present               X absent**
 **Model Predicts X Present**       Hit                   False Alarm

 **Model Predicts X Absent**      Miss                 Correct Rejection

Nesta matriz, você só precisa considerar a proporção de batidas e alarmes falsos (porque as outras podem ser derivadas delas, considerando que elas precisam de 1 a 1). Para cada critério de resposta, você terá uma matriz de confusão diferente. Os erros (erros e alarmes falsos) estão relacionados negativamente, o que significa que um critério de resposta que minimiza alarmes falsos maximiza erros e vice-versa. A mensagem é: não há almoço grátis.

Portanto, para entender quão bem o modelo discrimina casos / faz previsões, independentemente dos critérios de resposta estabelecidos, você plota as taxas de Hits e False produzidas no intervalo de possíveis critérios de resposta.

O que você obtém desse gráfico é a função ROC. A área sob a função fornece uma medida imparcial e não paramétrica da capacidade de discriminação do modelo. Essa medida é muito importante porque está livre de qualquer confusão que poderia ter sido produzida pelos critérios de resposta.

Um segundo aspecto importante é que, analisando a função, é possível definir quais critérios de resposta são melhores para seus objetivos. Quais tipos de erros você deseja evitar e quais são os erros são válidos. Por exemplo, considere um teste de HIV: é um teste que busca algum tipo de evidência (neste caso, anticorpos) e faz uma discriminação / previsão com base na comparação da evidência com o critério de resposta. Esse critério de resposta geralmente é definido como muito baixo, para minimizar perdas. Obviamente, isso resultará em mais alarmes falsos, que têm um custo, mas um custo que é insignificante quando comparado aos erros.

Com os ROCs, você pode avaliar a capacidade de discriminação de alguns modelos, independentemente dos critérios de resposta, e também estabelecer os critérios de resposta ideais, dadas as necessidades e restrições do que quer que esteja medindo. Testes como o hi-square não podem ajudar nisso porque, mesmo que o seu teste se as previsões estão no nível de chance, muitos pares diferentes de alarme falso-falso são consistentes com o nível de chance.

Algumas estruturas, como a teoria de detecção de sinal, assumem a priori que as evidências disponíveis para discriminação têm distribuição específica (por exemplo, distribuição normal ou distribuição gama). Quando essas premissas se mantêm (ou são bem próximas), algumas medidas realmente boas estão disponíveis para facilitar sua vida.

espero que isso ajude a elucidar você sobre as vantagens dos ROCs

Uma curva ROC é usada quando o preditor é contínuo e o resultado é discreto; portanto, um teste qui-quadrado não seria aplicável. De fato, a análise ROC é, em certo sentido, equivalente ao teste de Mann-Whitney: a área sob a curva é P (X> Y), que é a quantidade que está sendo testada pelo teste de MW. No entanto, a análise de Mann-Whitney não enfatiza a seleção de um ponto de corte, enquanto esse é o ponto principal da análise ROC. Além disso, as curvas ROC são frequentemente usadas apenas como uma exibição visual da capacidade preditiva de uma covariável.

A resposta mais curta é que os testes tradicionais de detecção de sinal fornecem apenas um ponto no ROC (característica de operação do receptor), enquanto a curva permite que você veja respostas através de uma faixa de valores. É possível que os critérios e d 'mudem conforme se muda ao longo da curva. É como a diferença entre um teste t gerado pela seleção de duas classes de variáveis ​​preditivas e duas linhas de regressão geradas observando manipulações paramétricas de cada variável preditora.

Caso você esteja interessado em outras referências, uma extensa lista de artigos está disponível no site da KH Zou, Pesquisa de Literatura sobre Receiver Operating Characteristic (ROC) .

As curvas ROC também são utilizadas quando se está interessado em comparar diferentes desempenhos de classificadores, com amplas aplicações em pesquisa biomédica e bioinformática.

De muitas maneiras, os ROCs são um desvio das principais ferramentas de inferência e estimativa de modelos. Não vejo muito valor lá.