Na avaliação de modelos, dentro ou fora da amostra.
Essa é uma pergunta geral que foi feita indiretamente várias vezes aqui, mas falta uma única resposta autoritativa. Seria ótimo ter uma resposta detalhada para isso para referência. A precisão , a proporção de classificações corretas entre todas as classificações, é uma medida muito simples e...
Eu perguntei isso anteriormente no StackOverflow, mas parece que pode ser mais apropriado aqui, já que não obteve respostas no SO. É uma espécie de cruzamento entre estatística e programação. Preciso escrever algum código para fazer o PCA (Principal Component Analysis). Naveguei pelos algoritmos...
Notei que existem algumas implementações de floresta aleatória, como ALGLIB, Waffles e alguns pacotes R, como randomForest. Alguém pode me dizer se essas bibliotecas são altamente otimizadas? Eles são basicamente equivalentes às florestas aleatórias, conforme detalhado em Os elementos do...
Um dos maiores problemas com a análise de cluster é que podemos ter que tirar conclusões diferentes quando baseamos nos diferentes métodos de cluster usados (incluindo diferentes métodos de ligação no cluster hierárquico). Gostaria de saber sua opinião sobre isso - qual método você selecionará e...
Recentemente, me deparei com um artigo que propõe o uso de um classificador k-NN em um conjunto de dados específico. Os autores usaram todas as amostras de dados disponíveis para realizar a validação cruzada de dobras k para diferentes valores de k e relatam os resultados da validação cruzada da...
Como todos sabemos, existem 2 métodos para avaliar o modelo de regressão logística e eles estão testando coisas muito diferentes Poder preditivo: Obtenha uma estatística que mede o quão bem você pode prever a variável dependente com base nas variáveis independentes. Os bem conhecidos Pseudo R...
Eu lido com um problema de detecção de fraude (como pontuação de crédito). Como tal, existe uma relação altamente desequilibrada entre observações fraudulentas e não fraudulentas. http://blog.revolutionanalytics.com/2016/03/com_class_eval_metrics_r.html fornece uma excelente visão geral das...
Os valores da AUC-ROC podem estar entre 0-0,5? O modelo produz valores entre 0 e
A concorrência da Kaggle A Safe Driver Prediction da Porto Seguro usa a Pontuação Gini Normalizada como métrica de avaliação e isso me deixou curioso sobre os motivos dessa escolha. Quais são as vantagens de usar a pontuação gini normalizada em vez das métricas mais comuns, como AUC, para...
Uma medida comum usada para comparar dois ou mais modelos de classificação é usar a área sob a curva ROC (AUC) como uma maneira de avaliar indiretamente seu desempenho. Nesse caso, um modelo com uma AUC maior é geralmente interpretado como tendo um desempenho melhor do que um modelo com uma AUC...
Os coeficientes de correlação phi e Matthews são o mesmo conceito? Como eles estão relacionados ou equivalentes ao coeficiente de correlação de Pearson para duas variáveis binárias? Presumo que os valores binários sejam 0 e 1. A correlação de Pearson entre duas variáveis aleatórias de...
Queria entender melhor o teste exato de Fisher, então inventei o seguinte exemplo de brinquedo, em que f e m correspondem a homens e mulheres e n e y correspondem a "consumo de refrigerante" como este: > soda_gender f m n 0 5 y 5 0 Obviamente, isso é uma simplificação drástica, mas eu não...
Na minha exposição em sala de aula à mineração de dados, o método de validação foi introduzido como uma maneira de avaliar o desempenho do modelo. No entanto, quando fiz minha primeira aula sobre modelos lineares, isso não foi introduzido como um meio de validação ou avaliação de modelo. Minha...
Eu estava lendo sobre métricas de regressão no python scikit-learn o manual e mesmo que cada um deles tem sua própria fórmula, eu não posso dizer intuitivamente o que é a diferença entre R2R2R^2 e pontuação variância e, portanto, quando usar um ou outro para avaliar o meu...
Costumo ouvir sobre a avaliação do desempenho de um modelo de classificação, mantendo o conjunto de testes e treinando um modelo no conjunto de treinamento. Em seguida, crie 2 vetores, um para os valores previstos e outro para os valores verdadeiros. Obviamente, fazer uma comparação permite julgar...
Essa pode ser uma pergunta básica: qual é a diferença entre preconceito e falta de adequação? E, analogamente, qual é a diferença entre variação e super adaptação? Os termos de cada par significam a mesma coisa? Se não, qual é a
Estou trabalhando em um conjunto de dados. Depois de usar algumas técnicas de identificação de modelos, criei um modelo ARIMA (0,2,1). Usei a detectIOfunção no pacote TSAem R para detectar um outlier inovador (IO) na 48ª observação do meu conjunto de dados original. Como faço para incorporar esse...
Desejo testar algumas das minhas idéias que considero melhores do que qualquer coisa que já vi. Eu posso estar errado, mas gostaria de testar minhas idéias e vencer minhas dúvidas com mais observações certas. O que eu tenho pensado em fazer é o seguinte: Analiticamente, defina um conjunto de...
Esta é a pontuação F beta: Fβ=(1+β2)⋅precision⋅recall(β2⋅precision)+recallFβ=(1 1+β2)⋅precEusEuon⋅recumaeueu(β2⋅precEusEuon)+recumaeueuF_\beta = (1 + \beta^2) \cdot \frac{\mathrm{precision} \cdot \mathrm{recall}}{(\beta^2 \cdot \mathrm{precision}) + \mathrm{recall}} O artigo da Wikipedia afirma...
Estou trabalhando na previsão de séries temporais. I tem dois conjuntos de dados D 1 = { x1 1, x2, . . . . xn}D1={x1,x2,....xn}D1=\{x_1, x_2,....x_n\} e D 2 = { xn+ 1 , xn+ 2 , xn+ 3 , . . . . , xn+ k }D2={xn+1,xn+2,xn+3,....,xn+k}D2=\{x_n+1, x_n+2, x_n+3,...., x_n+k\} . Eu tenho três modelos de...