Uma regra de pontuação adequada é uma regra que é maximizada por um modelo 'verdadeiro' e não permite 'hedging' ou jogo do sistema (relatando deliberadamente resultados diferentes, como é a crença verdadeira do modelo para melhorar a pontuação). A pontuação Brier é adequada, a precisão (proporção...
Os valores da AUC-ROC podem estar entre 0-0,5? O modelo produz valores entre 0 e
Quais são as vantagens das curvas ROC? Por exemplo, estou classificando algumas imagens que são um problema de classificação binária. Extraí cerca de 500 recursos e apliquei um algoritmo de seleção de recursos para selecionar um conjunto de recursos, depois apliquei o SVM para classificação. Nesse...
Estou planejando usar a validação cruzada estratificada de 10 vezes repetida (10 vezes) em cerca de 10.000 casos usando o algoritmo de aprendizado de máquina. Cada vez que a repetição será feita com sementes aleatórias diferentes. Nesse processo, crio 10 instâncias de estimativas de probabilidade...
Estou estudando um curso de aprendizado de máquina e os slides das palestras contêm informações que considero contraditórias com o livro recomendado. O problema é o seguinte: existem três classificadores: classificador A, que oferece melhor desempenho na faixa mais baixa dos...
Suponha que eu tenha construído um modelo de previsão para a ocorrência de uma doença específica em um conjunto de dados (o conjunto de dados de construção do modelo) e agora quero verificar o quão bem o modelo funciona em um novo conjunto de dados (o conjunto de dados de validação). Para um modelo...
Estou experimentando o algoritmo da máquina de aumento de gradiente através do caretpacote em R. Usando um pequeno conjunto de dados de admissões de faculdade, executei o seguinte código: library(caret) ### Load admissions dataset. ### mydata <-
Estou tentando entender como calcular o ponto de corte ideal para uma curva ROC (o valor no qual a sensibilidade e a especificidade são maximizadas). Estou usando o conjunto aSAHde dados do pacotepROC . A outcomevariável pode ser explicada por duas variáveis independentes: s100be ndka. Usando a...
Eu tenho um conjunto de testes de 100 casos e dois classificadores. Gerei previsões e AUC ROC computada, sensibilidade e especificidade para os dois classificadores. Pergunta 1: Como posso calcular o valor-p para verificar se um é significativamente melhor que o outro em relação a todas as...
Por que a área sob a curva ROC tem a probabilidade de um classificador classificar uma instância "positiva" escolhida aleatoriamente (a partir das previsões obtidas) mais alta que uma instância "positiva" escolhida aleatoriamente (a partir da classe positiva original)? Como alguém prova essa...
Normalmente, em regressão logística, ajustamos um modelo e obtemos algumas previsões sobre o conjunto de treinamento. Em seguida, validamos cruzadamente essas previsões de treinamento (algo como aqui ) e decidimos o valor do limite ideal com base em algo como a curva ROC. Por que não incorporamos...
costumávamos criar curva GINI usando a elevação criada com a ajuda da porcentagem de bom e ruim para a modelagem de scorecard. Mas o que eu estudei é que a curva ROC é criada usando a matriz Confusion com Especificidade (1 - Verdadeiro Negativo) como eixo xe sensibilidade (verdadeiro positivo) como...
Eu apliquei regressão logística aos meus dados no SAS e aqui estão a curva ROC e a tabela de classificação. Estou confortável com as figuras da tabela de classificação, mas não sei exatamente o que a curva roc e a área abaixo dela mostram. Qualquer explicação seria muito...
No aprendizado de máquina, podemos usar a área sob a curva ROC (frequentemente AUC abreviada ou AUROC) para resumir o quão bem um sistema pode discriminar entre duas categorias. Na teoria de detecção de sinal, frequentemente o d′d′d' (índice de sensibilidade) é usado para uma finalidade semelhante....
Eu obtive um modelo de regressão logística (via train) para uma resposta binária e a matriz de confusão logística via confusionMatrixin caret. Isso me fornece a matriz de confusão do modelo logístico, embora não tenha certeza de qual limite está sendo usado para obtê-lo. Como obtenho a matriz de...
Normalmente, não podemos desenhar uma curva ROC para classificadores discretos, como árvores de decisão. Estou certo? Existe alguma maneira de desenhar uma curva ROC para
Me deparei com o coeficiente Dice para similaridade de volume ( https://en.wikipedia.org/wiki/S%C3%B8rensen%E2%80%93Dice_coefficient ) e precisão ( https://en.wikipedia.org/wiki/Accuracy_and_precision ) Parece-me que essas duas medidas são iguais. Alguma
Uma medida comum usada para comparar dois ou mais modelos de classificação é usar a área sob a curva ROC (AUC) como uma maneira de avaliar indiretamente seu desempenho. Nesse caso, um modelo com uma AUC maior é geralmente interpretado como tendo um desempenho melhor do que um modelo com uma AUC...
Estou trabalhando em um modelo logístico e estou tendo algumas dificuldades para avaliar os resultados. Meu modelo é um logit binomial. Minhas variáveis explicativas são: uma variável categórica com 15 níveis, uma variável dicotômica e 2 variáveis contínuas. Meu N é grande> 8000. Estou...
Estou executando um classificador binário no momento. Quando planto a curva ROC, recebo uma boa sustentação no início, depois ela muda de direção e cruza a diagonal e, é claro, de volta, tornando a curva em forma de S inclinada. O que pode ser uma interpretação / explicação para esse efeito?...