O que significa AUC e o que é?
Pesquisou alta e baixa e não conseguiu descobrir o que a AUC, como relacionada à previsão, significa ou
228
Característica de operação do receptor, também conhecida como curva ROC.
Pesquisou alta e baixa e não conseguiu descobrir o que a AUC, como relacionada à previsão, significa ou
Eu entendo as diferenças formais entre eles, o que eu quero saber é quando é mais relevante usar um vs. o outro. Eles sempre fornecem informações complementares sobre o desempenho de um determinado sistema de classificação / detecção? Quando é razoável fornecer os dois, digamos, em um artigo?...
Estou interessado em calcular a área sob a curva (AUC), ou a estatística c, manualmente para um modelo de regressão logística binária. Por exemplo, no conjunto de dados de validação, tenho o valor verdadeiro da variável dependente, retenção (1 = retido; 0 = não retido), bem como um status de...
Em outras palavras, em vez de ter um problema de duas classes, estou lidando com 4 classes e ainda gostaria de avaliar o desempenho usando a
Estou tendo problemas para entender a curva ROC. Existe alguma vantagem / melhoria na área sob a curva ROC se eu construir modelos diferentes de cada subconjunto exclusivo do conjunto de treinamento e usá-lo para produzir uma probabilidade? Por exemplo, se tem valores de { um , um , um , um , b ,...
Eu tenho os dados de um teste que poderia ser usado para distinguir células normais e tumorais. De acordo com a curva ROC, parece bom para esse propósito (a área sob a curva é 0,9): Minhas perguntas são: Como determinar o ponto de corte para este teste e seu intervalo de confiança em que as...
Eu tenho uma tarefa de classificação na qual tenho vários preditores (um dos quais é o mais informativo) e estou usando o modelo MARS para construir meu classificador (estou interessado em qualquer modelo simples e usar glms para fins ilustrativos seria bem também). Agora, tenho um enorme...
O Critério de Informação de Akaike (AIC) e a estatística-c (área sob a curva ROC) são duas medidas de ajuste do modelo para a regressão logística. Estou tendo problemas para explicar o que está acontecendo quando os resultados das duas medidas não são consistentes. Eu acho que eles estão medindo...
Estou um pouco confuso sobre a Área sob curva (AUC) do ROC e a precisão geral. A AUC será proporcional à precisão geral? Em outras palavras, quando tivermos uma precisão geral maior, obteremos uma AUC cada vez maior? Ou eles são, por definição, correlacionados positivamente? Se eles estão...
Eu tenho dois classificadores A: rede bayesiana ingênua B: rede bayesiana em árvore (conectada individualmente) Em termos de precisão e outras medidas, A tem um desempenho comparativamente pior que B. No entanto, quando eu uso os pacotes R ROCR e AUC para realizar análises ROC, verifica-se que...
Recentemente, completei uma competição Kaggle na qual a pontuação roc auc foi usada conforme os requisitos da competição. Antes deste projeto, eu normalmente usava a pontuação f1 como métrica para medir o desempenho do modelo. No futuro, me pergunto como devo escolher entre essas duas métricas....
Na discussão: como gerar uma curva roc para classificação binária , acho que a confusão foi que um "classificador binário" (que é qualquer classificador que separa duas classes) foi para Yang o que é chamado de "classificador discreto" (que produz saídas discretas 0/1 como um SVM) e não saídas...
Eu tenho valores para True Positive (TP)e da False Negative (FN)seguinte maneira: TP = 0.25 FN = 0.75 A partir desses valores, podemos calcular False Positive (FP)e True Negative
A imagem abaixo mostra uma curva contínua de taxas de falsos positivos vs. taxas de verdadeiros positivos: No entanto, o que não entendo imediatamente é como essas taxas estão sendo calculadas. Se um método é aplicado a um conjunto de dados, ele possui uma certa taxa de FP e uma certa taxa de...
Preâmbulo Este é um longo post. Se você estiver relendo isso, observe que revi a parte da pergunta, embora o material de segundo plano permaneça o mesmo. Além disso, acredito que desenvolvi uma solução para o problema. Essa solução aparece na parte inferior da postagem. Agradeço ao CliffAB por...
Esta questão é sobre a estimativa de pontos de corte em um questionário de triagem multidimensional para prever um endpoint binário, na presença de escalas correlatas. Perguntaram-me sobre o interesse de controlar os subescores associados ao criar pontuações de corte em cada dimensão de uma escala...
Acabei de ler esta discussão. Eles argumentam que a AUC do PR é melhor que a AUC do ROC no conjunto de dados desequilibrados. Por exemplo, temos 10 amostras no conjunto de dados de teste. 9 amostras são positivas e 1 é negativa. Temos um modelo terrível que prevê tudo de positivo. Assim, teremos...
Alguém pode me explicar as diferenças reais entre análise de regressão e ajuste de curva (linear e não linear), com um exemplo, se possível? Parece que ambos tentam encontrar uma relação entre duas variáveis (dependente versus independente) e, em seguida, determinam o parâmetro (ou coeficiente)...
Eu construí uma curva ROC para um sistema de diagnóstico. A área sob a curva foi então estimada não parametricamente como AUC = 0,89. Quando tentei calcular a precisão na configuração de limite ideal (o ponto mais próximo do ponto (0, 1)), obtive a precisão do sistema de diagnóstico em 0,8, que é...
Tenho algumas dúvidas sobre qual medida de desempenho usar, área sob a curva ROC (TPR como uma função da FPR) ou área sob a curva de precisão de recall (precisão como uma função de recall). Meus dados estão desequilibrados, ou seja, o número de instâncias negativas é muito maior que as instâncias...