As regras de pontuação são usadas para avaliar a precisão das probabilidades previstas ou, mais geralmente, das densidades preditivas. Exemplos de regras de pontuação incluem o logarítmico, Brier, esférico, probabilidade classificada e a pontuação Dawid-Sebastiani e o desvio preditivo.
Essa é uma pergunta geral que foi feita indiretamente várias vezes aqui, mas falta uma única resposta autoritativa. Seria ótimo ter uma resposta detalhada para isso para referência. A precisão , a proporção de classificações corretas entre todas as classificações, é uma medida muito simples e...
Ultimamente, tenho pensado muito sobre o "problema de desequilíbrio de classe" no aprendizado de máquina / estatística, e estou me aprofundando cada vez mais em um sentimento de que simplesmente não entendo o que está acontecendo. Primeiro, deixe-me definir (ou tentar) definir meus termos: O...
Estou validando cruzadamente um modelo que está tentando prever uma contagem. Se esse fosse um problema de classificação binária, eu calcularia a AUC fora da dobra e, se esse fosse um problema de regressão, calcularia o RMSE ou o MAE fora da dobra. Para um modelo de Poisson, que métricas de erro...
Merkle & Steyvers (2013) escrevem: Para definir formalmente uma regra de pontuação adequada, seja uma previsão probabilística de um estudo de Bernoulli com verdadeira probabilidade de sucesso . Regras de pontuação adequadas são métricas cujos valores esperados são minimizados se .fffdddpppf=...
Recentemente, completei uma competição Kaggle na qual a pontuação roc auc foi usada conforme os requisitos da competição. Antes deste projeto, eu normalmente usava a pontuação f1 como métrica para medir o desempenho do modelo. No futuro, me pergunto como devo escolher entre essas duas métricas....
A maioria dos recursos sobre regras de pontuação adequadas menciona várias regras de pontuação diferentes, como perda de log, pontuação de Brier ou pontuação esférica. No entanto, eles geralmente não dão muita orientação sobre as diferenças entre eles. (Anexo A: Wikipedia .) Escolher o modelo que...
Em primeiro lugar, ele dá probabilidade de resultados. Assim, por exemplo, suas previsões para a eleição nos EUA são atualmente 82% Clinton vs 18% Trump. Agora, mesmo que Trump vença, como sei que não foram apenas os 18% das vezes que ele deveria ter vencido? O outro problema é que suas...
Uma regra de pontuação adequada é uma regra que é maximizada por um modelo 'verdadeiro' e não permite 'hedging' ou jogo do sistema (relatando deliberadamente resultados diferentes, como é a crença verdadeira do modelo para melhorar a pontuação). A pontuação Brier é adequada, a precisão (proporção...
Recentemente, aprendi sobre regras de pontuação adequadas para classificadores probabilísticos. Vários tópicos neste site fizeram questão de enfatizar que a precisão é uma regra de pontuação inadequada e não deve ser usada para avaliar a qualidade das previsões geradas por um modelo probabilístico,...
A pergunta de ontem Determinar a precisão do modelo que estima a probabilidade de evento me deixou curioso sobre a pontuação de probabilidade. A pontuação Brier é uma medida de erro médio quadrático. O análogo significa a medida do desempenho do erro absoluto11N∑i = 1N( p r e di c t i o nEu- r e...
Antecedentes: Existem algumas ótimas perguntas / respostas aqui sobre como calibrar modelos que preveem as probabilidades de um resultado acontecer. Por exemplo Brier score , e sua decomposição em resolução, incerteza e confiabilidade . Gráficos de calibração e regressão isotônica . Esses...
Estou modelando um evento com dois resultados, a e b. Eu criei um modelo que estima a probabilidade de que a ou b aconteça (ou seja, o modelo calculará que a acontecerá com 40% de chance eb acontecerá com 60% de chance). Eu tenho um grande registro de resultados de ensaios com as estimativas do...
Estou executando uma análise sobre a probabilidade de inadimplência de empréstimos usando regressão logística e florestas aleatórias. Quando uso regressão logística, a previsão é sempre '1' (o que significa bom empréstimo). Eu nunca vi isso antes e não sei por onde começar em termos de tentar...
Programei e desenvolvo testes. Depois de fazer uma alteração no meu código, executo meus testes. Às vezes eles conseguem e outras vezes fracassam. Antes de executar um teste, escrevo um número de 0,01 a 0,99 para creditar que o teste será bem-sucedido. Quero saber se estou melhorando para prever...
Exemplos: Eu tenho uma frase na descrição do trabalho: "Java senior engineer in UK". Eu quero usar um modelo de aprendizado profundo para prever em duas categorias: English e IT jobs. Se eu usar o modelo de classificação tradicional, ele poderá prever apenas 1 rótulo com softmaxfunção na última...
Uma abordagem típica para resolver um problema de classificação é identificar uma classe de modelos candidatos e, em seguida, executar a seleção de modelos usando algum procedimento, como validação cruzada. Normalmente, seleciona-se o modelo com a maior precisão, ou alguma função relacionada que...
Suponha que eu faça um monte de previsões probabilísticas como: 70% de probabilidade de que o crescimento das vendas seja de 10 a 15% no primeiro trimestre, 10% de probabilidade de que o crescimento de vendas seja> 15%, 20% de probabilidade de que o crescimento de vendas seja <10% Dados...
Uma regra de pontuação é um meio de avaliar o palpite de um agente sobre as probabilidades associadas a um evento categórico, considerando um resultado (categórico) do evento. Dependendo do palpite e do resultado observado, a regra de pontuação atribui ao agente uma pontuação (um número real). Uma...
Estou usando regressão logística para prever a probabilidade de ocorrência de um evento. Por fim, essas probabilidades são colocadas em um ambiente de produção, onde nos concentramos o máximo possível em atingir nossas previsões de "sim". Portanto, é útil ter uma idéia do que "hits" ou "não hits"...
Parece um problema comum, mas não consigo encontrar uma solução. Eu tenho um conjunto de observações binárias e dois modelos diferentes, cada um com previsões para cada observação. Eu quero comparar a calibração dos modelos. Existem várias abordagens para comparar a discriminação desses modelos...