O que significa AUC e o que é?
Pesquisou alta e baixa e não conseguiu descobrir o que a AUC, como relacionada à previsão, significa ou
228
AUC significa Área sob a curva e geralmente refere-se à área sob a curva ROC (característica do operador receptor).
Pesquisou alta e baixa e não conseguiu descobrir o que a AUC, como relacionada à previsão, significa ou
Estou interessado em calcular a área sob a curva (AUC), ou a estatística c, manualmente para um modelo de regressão logística binária. Por exemplo, no conjunto de dados de validação, tenho o valor verdadeiro da variável dependente, retenção (1 = retido; 0 = não retido), bem como um status de...
O Critério de Informação de Akaike (AIC) e a estatística-c (área sob a curva ROC) são duas medidas de ajuste do modelo para a regressão logística. Estou tendo problemas para explicar o que está acontecendo quando os resultados das duas medidas não são consistentes. Eu acho que eles estão medindo...
Eu tenho dois classificadores A: rede bayesiana ingênua B: rede bayesiana em árvore (conectada individualmente) Em termos de precisão e outras medidas, A tem um desempenho comparativamente pior que B. No entanto, quando eu uso os pacotes R ROCR e AUC para realizar análises ROC, verifica-se que...
A precisão média (AP) é a área sob a curva de precisão de recuperação (AUC da curva PR)? EDITAR: Aqui estão alguns comentários sobre a diferença entre PR AUC e AP. A AUC é obtida por interpolação trapezoidal da precisão. Uma métrica alternativa e geralmente quase equivalente é a Precisão Média...
Na discussão: como gerar uma curva roc para classificação binária , acho que a confusão foi que um "classificador binário" (que é qualquer classificador que separa duas classes) foi para Yang o que é chamado de "classificador discreto" (que produz saídas discretas 0/1 como um SVM) e não saídas...
A imagem abaixo mostra uma curva contínua de taxas de falsos positivos vs. taxas de verdadeiros positivos: No entanto, o que não entendo imediatamente é como essas taxas estão sendo calculadas. Se um método é aplicado a um conjunto de dados, ele possui uma certa taxa de FP e uma certa taxa de...
Preâmbulo Este é um longo post. Se você estiver relendo isso, observe que revi a parte da pergunta, embora o material de segundo plano permaneça o mesmo. Além disso, acredito que desenvolvi uma solução para o problema. Essa solução aparece na parte inferior da postagem. Agradeço ao CliffAB por...
Estou usando um classificador que retorna probabilidades. Para calcular a AUC, estou usando o pROC R-package. As probabilidades de saída do classificador são: probs=c(0.9865780, 0.9996340, 0.9516880, 0.9337157, 0.9778576, 0.8140116, 0.8971550, 0.8967585, 0.6322902, 0.7497237) probsmostra...
Eu construí uma curva ROC para um sistema de diagnóstico. A área sob a curva foi então estimada não parametricamente como AUC = 0,89. Quando tentei calcular a precisão na configuração de limite ideal (o ponto mais próximo do ponto (0, 1)), obtive a precisão do sistema de diagnóstico em 0,8, que é...
Os valores da AUC-ROC podem estar entre 0-0,5? O modelo produz valores entre 0 e
Tenho algumas dúvidas sobre qual medida de desempenho usar, área sob a curva ROC (TPR como uma função da FPR) ou área sob a curva de precisão de recall (precisão como uma função de recall). Meus dados estão desequilibrados, ou seja, o número de instâncias negativas é muito maior que as instâncias...
Estou experimentando o algoritmo da máquina de aumento de gradiente através do caretpacote em R. Usando um pequeno conjunto de dados de admissões de faculdade, executei o seguinte código: library(caret) ### Load admissions dataset. ### mydata <-
Estou tentando usar a função ' densidade ' em R para fazer estimativas de densidade do kernel. Estou tendo alguma dificuldade em interpretar os resultados e comparar vários conjuntos de dados, pois parece que a área sob a curva não é necessariamente 1. Para qualquer função de densidade de...
A pontuação F1 é a média harmônica de precisão e recuperação. O eixo y da recuperação é uma taxa positiva verdadeira (que também é recuperação). Assim, em algum momento os classificadores podem ter um recall baixo, mas uma AUC muito alta, o que isso significa? Quais são as diferenças entre a AUC e...
Por que a área sob a curva ROC tem a probabilidade de um classificador classificar uma instância "positiva" escolhida aleatoriamente (a partir das previsões obtidas) mais alta que uma instância "positiva" escolhida aleatoriamente (a partir da classe positiva original)? Como alguém prova essa...
Treinei dois modelos (classificadores binários usando o h2o AutoML) e quero selecionar um para usar. Eu tenho os seguintes resultados: model_id auc logloss logloss_train logloss_valid gini_train gini_valid DL_grid_1 0.542694 0.287469 0.092717 0.211956 0.872932 0.312975 DL_grid_2 0.543685...
A concorrência da Kaggle A Safe Driver Prediction da Porto Seguro usa a Pontuação Gini Normalizada como métrica de avaliação e isso me deixou curioso sobre os motivos dessa escolha. Quais são as vantagens de usar a pontuação gini normalizada em vez das métricas mais comuns, como AUC, para...
Eu tenho um conjunto de testes de 100 casos e dois classificadores. Gerei previsões e AUC ROC computada, sensibilidade e especificidade para os dois classificadores. Pergunta 1: Como posso calcular o valor-p para verificar se um é significativamente melhor que o outro em relação a todas as...
No aprendizado de máquina, podemos usar a área sob a curva ROC (frequentemente AUC abreviada ou AUROC) para resumir o quão bem um sistema pode discriminar entre duas categorias. Na teoria de detecção de sinal, frequentemente o d′d′d' (índice de sensibilidade) é usado para uma finalidade semelhante....