Suponha que eu tenha um modelo preditivo que produz, para cada instância, uma probabilidade para cada classe. Agora reconheço que existem muitas maneiras de avaliar esse modelo se eu quiser usar essas probabilidades para classificação (precisão, recall, etc.). Também reconheço que uma curva ROC e a...
Para calibrar um nível de confiança para uma probabilidade de aprendizado supervisionado (digamos, mapear a confiança de um SVM ou de uma árvore de decisão usando dados superamostrados), um método é usar o Escala de Platt (por exemplo, Obtendo Probabilidades Calibradas do Impulso ). Basicamente,...
Gostaria de obter conselhos sobre como agrupar os gráficos / estatísticas de calibração após imputação múltipla. No cenário do desenvolvimento de modelos estatísticos para prever um evento futuro (por exemplo, usando dados de registros hospitalares para prever a sobrevivência ou eventos após a alta...
O Scikit possui o CalibratedClassifierCV , que permite calibrar nossos modelos em um par X, y específico. Também afirma claramente quedata for fitting the classifier and for calibrating it must be disjoint. Se eles devem ser desarticulados, é legítimo treinar o classificador com o seguinte?...
Antecedentes: Existem algumas ótimas perguntas / respostas aqui sobre como calibrar modelos que preveem as probabilidades de um resultado acontecer. Por exemplo Brier score , e sua decomposição em resolução, incerteza e confiabilidade . Gráficos de calibração e regressão isotônica . Esses...
Programei e desenvolvo testes. Depois de fazer uma alteração no meu código, executo meus testes. Às vezes eles conseguem e outras vezes fracassam. Antes de executar um teste, escrevo um número de 0,01 a 0,99 para creditar que o teste será bem-sucedido. Quero saber se estou melhorando para prever...
Pergunta : Eu ajustei um modelo probabilístico (rede bayesiana) para modelar uma variável de resultado binário. Gostaria de criar um gráfico de calibração de alta resolução (por exemplo, spline) corrigido para sobreajuste com o bootstrapping. Existe um procedimento padrão para calcular essa...
Nos documentos de aprendizado do scikit sobre calibração de probabilidade, eles comparam a regressão logística com outros métodos e observam que a floresta aleatória é menos bem calibrada que a regressão logística. Por que a regressão logística é bem calibrada? Como alguém poderia arruinar a...
Para fazer um gráfico de calibração para as probabilidades de sobrevivência estimadas a partir de um modelo de Cox, pode-se dividir o risco estimado em grupos, calcular o risco médio dentro de um grupo e depois compará-lo com a estimativa de Kaplan-Meier. Quais são as abordagens alternativas que...
O parâmetro alfa de uma média móvel exponencial define a suavização que a média aplica a uma série temporal. De maneira semelhante, o tamanho da janela de uma janela em movimento também define a suavização. Existe alguma maneira de ajustar o parâmetro alfa, de modo que a suavização seja...
Parece um problema comum, mas não consigo encontrar uma solução. Eu tenho um conjunto de observações binárias e dois modelos diferentes, cada um com previsões para cada observação. Eu quero comparar a calibração dos modelos. Existem várias abordagens para comparar a discriminação desses modelos...
Eu tenho um modelo de regressão logística binária derivada passo a passo. Eu usei a calibrate(, bw=200, bw=TRUE)função no rmspacote em R para estimar sua calibração futura. A saída é fornecida abaixo e mostra a estimativa da curva de calibração corrigida por overfitting de autoinicialização para o...