Eu estava começando a olhar para a área sob curva (AUC) e estou um pouco confuso sobre sua utilidade. Quando me expliquei pela primeira vez, a AUC parecia ser uma grande medida de desempenho, mas em minha pesquisa eu descobri que alguns afirmam que sua vantagem é quase sempre marginal, pois é...
Uma técnica comum após o treinamento, validando e testando o modelo de preferência do Machine Learning é usar o conjunto de dados completo, incluindo o subconjunto de testes, para treinar um modelo final para implementá- lo, por exemplo, em um produto. Minha pergunta é: é sempre melhor fazê-lo?...
Com toda a confusão em torno da ciência de dados, aprendizado de máquina e todas as histórias de sucesso, existem muitas expectativas justificadas e superinflacionadas dos cientistas de dados e de seus modelos preditivos. Minha pergunta para os estatísticos, especialistas em aprendizado de máquina...
Eu estou usando o exemplo do letter_recog.cpp do OpenCV para experimentar em árvores aleatórias e outros classificadores. Este exemplo possui implementações de seis classificadores - árvores aleatórias, reforço, MLP, kNN, ingênuo Bayes e SVM. É usado o conjunto de dados de reconhecimento de cartas...
Eu estava passando por um artigo em blogs do Kaggle. Repetidamente, o autor menciona 'LB score' e 'LB fit') como uma métrica para a eficácia do aprendizado de máquina (juntamente com a pontuação de validação cruzada (CV)). Com uma pesquisa para o significado de 'LB', passei bastante tempo, percebi...
Estatísticas comuns de validação de modelo, como o teste Kolmogorov – Smirnov (KS), AUROC e Gini, estão todas relacionadas funcionalmente. No entanto, minha pergunta tem a ver com provar como tudo isso está relacionado. Estou curioso para saber se alguém pode me ajudar a provar esses...
Depois de desenvolver meu modelo preditivo usando a Floresta Aleatória, recebo as seguintes métricas: Train Accuracy :: 0.9764634601043997 Test Accuracy :: 0.7933284397683713 Confusion matrix [[28292 1474] [ 6128 889]] Estes são os resultados deste código: training_features, test_features,...
Fechado . Esta questão precisa ser mais focada . No momento, não está aceitando respostas. Deseja melhorar esta pergunta? Atualize a pergunta para que ela se concentre apenas em um problema editando esta postagem . Fechado há 5 anos . Parece que a maioria...
Fiz algumas pesquisas para aprender precisão e recall e vi que alguns gráficos representam uma relação inversa entre precisão e recall e comecei a pensar sobre isso para esclarecer o assunto. Eu me pergunto o relacionamento inverso sempre vale? Suponha que eu tenha um problema de classificação...
Eu quero testar a precisão de uma metodologia. Eu o executei ~ 400 vezes e recebi uma classificação diferente para cada execução. Eu também tenho a verdade básica, ou seja, a classificação real a ser testada. Para cada classificação, calculei uma matriz de confusão. Agora, quero agregar esses...
Recentemente, completei o exercício 3 do Machine Learning de Andrew Ng no Coursera usando Python . Ao concluir inicialmente as partes 1.4 a 1.4.1 do exercício, tive dificuldades para garantir que meu modelo treinado tenha a precisão que corresponde aos 94,9% esperados. Mesmo após a depuração e a...
Entendo que os modelos são tão bons quanto os dados que você obtém, e o design incorreto pode gerar dados realmente ruins. Amostras não aleatórias, projetos desequilibrados / incompletos, confusos, podem dificultar a análise dos dados. Em que ponto devemos confiar que eles executaram um modelo...
Li nas várias respostas aqui e na Internet que a validação cruzada ajuda a indicar que, se o modelo for generalizado bem ou não, e sobre o ajuste excessivo. Mas estou confuso quanto a quais duas precisões / erros no teste / treinamento / validação devo comparar para poder ver se o modelo está...