Qual é o nome deste gráfico que mostra taxas positivas falsas e verdadeiras e como é gerado?

22

A imagem abaixo mostra uma curva contínua de taxas de falsos positivos vs. taxas de verdadeiros positivos:

insira a descrição da imagem aqui

No entanto, o que não entendo imediatamente é como essas taxas estão sendo calculadas. Se um método é aplicado a um conjunto de dados, ele possui uma certa taxa de FP e uma certa taxa de FN. Isso não significa que cada método deve ter um único ponto ao invés de uma curva? É claro que existem várias maneiras de configurar um método, produzindo vários pontos diferentes, mas não está claro para mim como existe esse continuum de taxas ou como ele é gerado.

Axoren
fonte
2
Eu ficaria interessado em saber de onde isso veio. Parece estar alegando que o Baidu é 100% perfeito (e melhor que as pessoas) na identificação / reconhecimento de rostos. Ou isso, ou está usando os resultados do Baidu como verdade fundamental, e não como categorização humana, o que também é realmente estranho.
Pare de prejudicar Monica
OK, eles misturaram resultados de diferentes experiências e arredondaram seus dados de origem incorretamente. O Baidu deve ser 0,9977 ± 0,0006
Pare de prejudicar Monica
2
Aliás, você perdeu a resposta da sua fonte: "Consulte a Wikipedia para obter mais detalhes sobre a leitura da curva ROC".
Pare de prejudicar Monica
2
@OrangeDog 0.9977 ± 0.0006 é a precisão do Baidu na página de resultados do LFW , não na AUC. Isso é confuso porque a página de resultados do LFW não possui um cabeçalho para a coluna da qual é originário. No entanto, o artigo v4 arxiv apresenta esse número como a precisão. Eu calculei a AUC em sua curva nesta função . Embora a AUC de 1.000 seja confusa, acredito que minha técnica seja válida.
Brandon Amos

Respostas:

27

O gráfico é curva ROC e os pontos (Taxa de Falso Positivo, Taxa de Verdadeiro Positivo) são calculados para diferentes limites. Supondo que você tenha uma função de utilidade uniforme, o valor limite ideal é o do ponto mais próximo de (0, 1).

Morten
fonte
Portanto, esse tipo de curva requer que o método tenha um parâmetro de limite relaxável?
Axoren
2
Sim, mas o limite pode ser muitas coisas, por exemplo, a probabilidade de log para um modelo treinado, dados os dados do teste ou a distância do hiperplano de separação para um SVM.
Morten
1
Por exemplo, a linha diagonal é um algoritmo de estimativa aleatória; o parâmetro será "com que probabilidade devemos adivinhar VERDADEIRO?"
Pare de prejudicar Monica
21

Para gerar curvas ROC (= Curvas de características operacionais do receptor):

Suponha que tenhamos um classificador binário probabilístico, como regressão logística. Antes de apresentar a curva ROC, o conceito de matriz de confusão deve ser entendido. Quando fazemos uma previsão binária, pode haver 4 tipos de erros:

  • Prevemos 0 enquanto deveríamos ter a classe é realmente 0: isso é chamado de Verdadeiro Negativo , ou seja, prevemos corretamente que a classe é negativa (0). Por exemplo, um antivírus não detectou um arquivo inofensivo como vírus.
  • Prevemos 0 enquanto deveríamos ter a classe na verdade 1: isso é chamado de Falso Negativo , ou seja, prevemos incorretamente que a classe é negativa (0). Por exemplo, um antivírus falhou ao detectar um vírus.
  • Prevemos 1 enquanto deveríamos ter a classe na verdade 0: isso é chamado de Falso Positivo , ou seja, prevemos incorretamente que a classe é positiva (1). Por exemplo, um antivírus considerava um arquivo inofensivo um vírus.
  • Prevemos 1 enquanto deveríamos ter a classe é realmente 1: isso é chamado de Verdadeiro Positivo , ou seja, prevemos corretamente que a classe é positiva (1). Por exemplo, um antivírus detectou corretamente um vírus.

Para obter a matriz de confusão, examinamos todas as previsões feitas pelo modelo e contamos quantas vezes cada um desses 4 tipos de erros ocorre:

insira a descrição da imagem aqui

Neste exemplo de matriz de confusão, entre os 50 pontos de dados classificados, 45 são classificados corretamente e os 5 são classificados incorretamente.

Como para comparar dois modelos diferentes, geralmente é mais conveniente ter uma única métrica em vez de várias, calculamos duas métricas da matriz de confusão, que posteriormente combinaremos em uma:

  • TPTP+FN
  • FPFP+TN

0,00;0,01,0,02,...,1,00

insira a descrição da imagem aqui

Nesta figura, a área azul corresponde à área sob a curva da característica de operação do receptor (AUROC). A linha tracejada na diagonal apresenta a curva ROC de um preditor aleatório: possui um AUROC de 0,5. O preditor aleatório é comumente usado como linha de base para verificar se o modelo é útil.

Se você deseja obter alguma experiência em primeira mão:

Franck Dernoncourt
fonte
9

A resposta de Morten aborda corretamente a pergunta no título - a figura é, de fato, uma curva ROC. É produzido plotando uma sequência de taxas de falso positivo (FPR) em relação às taxas positivas verdadeiras correspondentes.

No entanto, gostaria de responder à pergunta que você faz no corpo da sua postagem.

Se um método é aplicado a um conjunto de dados, ele possui uma certa taxa de FP e uma certa taxa de FN. Isso não significa que cada método deve ter um único ponto ao invés de uma curva? É claro que existem várias maneiras de configurar um método, produzindo vários pontos diferentes, mas não está claro para mim como existe esse continuum de taxas ou como ele é gerado.

Muitos métodos de aprendizado de máquina possuem parâmetros ajustáveis. Por exemplo, a saída de uma regressão logística é uma probabilidade prevista de associação à classe. Uma regra de decisão para classificar todos os pontos com probabilidades previstas acima de algum limite para uma classe e o restante para outra, pode criar um intervalo flexível de classificadores, cada um com diferentes estatísticas de TPR e FPR. O mesmo pode ser feito no caso de floresta aleatória, em que se considera os votos das árvores, ou SVM, em que você está considerando a distância assinada do hiperplano.

No caso em que você está executando a validação cruzada para estimar o desempenho fora da amostra, a prática típica é usar os valores de previsão (votos, probabilidades, distâncias assinadas) para gerar uma sequência de TPR e FPR. Isso geralmente se parece com uma função de etapa, porque normalmente há apenas um ponto que se move de TP para FN ou FP para FN, em cada valor previsto (ou seja, todos os valores previstos fora da amostra são únicos). Nesse caso, enquanto houver um continuum de opções para calcular TPR e FPR, as funções TPR e FPR não serão contínuas porque existem apenas finitos pontos fora da amostra, de modo que as curvas resultantes terão uma aparência semelhante a um passo .

Sycorax diz restabelecer Monica
fonte
0

Da Wikipedia:

A curva ROC foi desenvolvida pela primeira vez por engenheiros elétricos e engenheiros de radar durante a Segunda Guerra Mundial para detectar objetos inimigos nos campos de batalha e logo foi introduzida na psicologia para explicar a detecção perceptiva de estímulos. A análise ROC desde então tem sido usada em medicina, radiologia, biometria e outras áreas há muitas décadas e é cada vez mais usada em aprendizado de máquina e pesquisa de mineração de dados.

O ROC também é conhecido como uma curva de característica operacional relativa, porque é uma comparação de duas características operacionais (TPR e FPR) à medida que o critério muda.

Você pode pensar nos dois eixos como custos que devem ser incorridos para que o classificador binário funcione. Idealmente, você deseja incorrer na menor taxa de falsos positivos possível, na maior taxa possível de verdade. Ou seja, você deseja que o classificador binário chame o mínimo possível de falsos positivos para o maior número possível de verdadeiros positivos.

Para torná-lo concreto, imagine um classificador que possa detectar se uma determinada doença está presente medindo a quantidade de algum biomarcador. Imagine que o biomarcador tivesse um valor no intervalo de 0 (ausente) a 1 (saturado). Qual nível maximiza a detecção da doença? Pode ser que, acima de algum nível, o biomarcador classifique algumas pessoas como tendo a doença, mas elas ainda não a tenham. Estes são falsos positivos. Então, é claro, existem aqueles que serão classificados como portadores da doença quando realmente tiverem a doença. Estes são os verdadeiros positivos.

O ROC avalia a proporção de verdadeiros positivos de todos os positivos em relação à proporção de falsos positivos, levando em consideração todos os valores-limite possíveis.

polarizar
fonte