Eu luto para encontrar uma maneira de calcular o valor-p da área sob uma característica de operador de receptor (ROC). Eu tenho uma variável contínua e um resultado de teste de diagnóstico. Quero ver se o AUROC é estatisticamente significativo. Encontrei muitos pacotes que tratam de curvas ROC:...
Estou executando um classificador binário no momento. Quando planto a curva ROC, recebo uma boa sustentação no início, depois ela muda de direção e cruza a diagonal e, é claro, de volta, tornando a curva em forma de S inclinada. O que pode ser uma interpretação / explicação para esse efeito?...
Estou trabalhando com dados desequilibrados, onde existem cerca de 40 casos de classe = 0 para cada classe = 1. Eu posso discriminar razoavelmente entre as classes usando recursos individuais, e treinar um classificador ingênuo de Bayes e SVM em 6 recursos e dados balanceados gerou uma melhor...
Eu tenho 100.000 observações (9 variáveis indicadoras fictícias) com 1000 positivos. A regressão logística deve funcionar bem neste caso, mas a probabilidade de corte me intriga. Na literatura comum, escolhemos um ponto de corte de 50% para prever 1s e 0s. Não posso fazer isso, pois meu modelo...
Gostaria de comparar dois classificadores diferentes para um problema de classificação de texto em várias classes que usa grandes conjuntos de dados de treinamento. Duvido que eu deva usar curvas ROC ou curvas de aprendizado para comparar os dois classificadores. Por um lado, as curvas de...
Quero encontrar o ponto de corte para o gênero com base em uma medida antropológica. Posso desenhar as curvas e sei que, caso a sensibilidade e a especificidade sejam igualmente importantes, o ponto mais próximo ao canto superior esquerdo do quadro (ou, se a curva for negativa, o ponto mais próximo...
Considere uma matriz de entrada e uma saída binária .XXXyyy Uma maneira comum de medir o desempenho de um classificador é usar curvas ROC. Em um gráfico ROC, a diagonal é o resultado que seria obtido de um classificador aleatório. No caso de uma saída desequilibrada o desempenho de um...
Li esta legenda em um artigo e nunca vi a AUC descrita dessa maneira em nenhum outro lugar. Isso é verdade? Existe uma maneira simples ou comprovada de ver isso? A Fig. 2 mostra a precisão da previsão de variáveis dicotômicas expressas em termos da área sob a curva característica operacional...
Especialmente no lado orientado para a ciência da computação da literatura de aprendizado de máquina, a AUC (área sob a curva característica do operador do receptor) é um critério popular para avaliar classificadores. Quais são as justificativas para usar a AUC? Por exemplo, existe uma função de...
Ao executar a validação cruzada de 5 vezes (por exemplo), é típico calcular uma curva ROC separada para cada uma das 5 dobras e geralmente vezes uma curva ROC média com std. dev. mostrado como espessura da curva. No entanto, para validação cruzada LOO, onde há apenas um único ponto de dados de...
Eu criei alguns modelos de regressão de Cox e gostaria de ver o desempenho desses modelos e pensei que talvez uma curva ROC ou uma estatística c possa ser útil semelhante ao uso deste artigo: JN Armitage e JH van der Meulen, “Identificando comorbidades em pacientes cirúrgicos usando dados...
Atualmente, estou comparando três métodos e tenho a Precisão, auROC e auPR como métricas. E eu tenho os seguintes resultados: Método A - acc: 0,75, auROC: 0,75, auPR: 0,45 Método B - acc: 0,65, auROC: 0,55, auPR: 0,40 Método C - acc: 0,55, auROC: 0,70, auPR: 0,65 Eu tenho um bom entendimento...
Eu tenho um GLMM do formulário: lmer(present? ~ factor1 + factor2 + continuous + factor1*continuous + (1 | factor3), family=binomial) Quando uso drop1(model, test="Chi"), obtenho resultados diferentes dos que utilizo Anova(model, type="III")na embalagem do carro ou summary(model). Estes dois...
Gostaria de calcular d prime para uma tarefa de memória que envolve a detecção de itens antigos e novos. O problema que tenho é que alguns dos sujeitos têm taxa de acerto de 1 e / ou taxa de alarme falso de 0, o que torna as probabilidades 100% e 0%, respectivamente. A fórmula para d prime é d' =...
Estou usando 2 tipos de regressão logística - um é o tipo simples, para classificação binária, e o outro é regressão logística ordinal. Para calcular a precisão do primeiro, usei a validação cruzada, onde calculei a AUC para cada dobra e calculei a AUC média. Como posso fazer isso para a regressão...
Não nos desculpe: não tentei pesquisar isso (além de revisar a lista de perguntas que o CV pode ter respondido a essa pergunta). Ensinei isso na aula na semana passada para diagnosticar modelos de regressão logística múltipla e avisei os alunos com antecedência que não conheciam as origens do...
Eu tenho dados rotulados de 2 classes nos quais estou executando a classificação usando vários classificadores. E os conjuntos de dados são bem equilibrados. Ao avaliar o desempenho dos classificadores, preciso levar em consideração a precisão do classificador em determinar não apenas os...
Portanto, tenho 16 ensaios em que estou tentando autenticar uma pessoa de uma característica biométrica usando a Distância de Hamming. Meu limite está definido como 3,5. Meus dados estão abaixo e apenas o teste 1 é um verdadeiro positivo: Trial Hamming Distance 1 0.34 2 0.37 3 0.34 4 0.29 5 0.55 6...
Olá colegas trituradores de números Eu quero gerar n pontuações aleatórias (junto com um rótulo de classe) como se tivessem sido produzidas por um modelo de classificação binária. Em detalhes, são necessárias as seguintes propriedades: cada pontuação está entre 0 e 1 toda pontuação está...
Eu tenho alguns conjuntos de dados EEG que estou testando em duas classes. Posso obter uma taxa de erro decente do LDA (as distribuições condicionais de classe não são gaussianas, mas têm caudas semelhantes e separação suficientemente boa) e, portanto, quero plotar o ROC do preditor LDA contra...