Treinei dois modelos (classificadores binários usando o h2o AutoML) e quero selecionar um para usar. Eu tenho os seguintes resultados: model_id auc logloss logloss_train logloss_valid gini_train gini_valid DL_grid_1 0.542694 0.287469 0.092717 0.211956 0.872932 0.312975 DL_grid_2 0.543685...
Estou fazendo uma validação cruzada usando o método deixar de fora. Eu tenho uma resposta binária e estou usando o pacote de inicialização para R e a função cv.glm . Meu problema é que não entendo completamente a parte "custo" dessa função. Pelo que entendi, é a função que decide se um valor...
Bloqueado . Esta pergunta e suas respostas estão bloqueadas porque a questão está fora do tópico, mas tem um significado histórico. No momento, não está aceitando novas respostas ou interações. Agora eu tenho um Rquadro de dados (treinamento), alguém pode me dizer como...
Eu já ouvi a seguinte expressão antes: "Otimização é a raiz de todo mal nas estatísticas". Por exemplo, a resposta principal neste tópico faz essa afirmação em referência ao perigo de otimizar de forma muito agressiva durante a seleção do modelo. Minha primeira pergunta é a seguinte: Essa...
Estou redigindo uma revisão de literatura sobre um problema de saúde pública atual em que os dados são confundidos: Quais são os estudos de caso históricos comuns usados na educação em saúde pública / epidemiologia em que relações ou inferências inválidas ou confusas foram intencional ou...
O Scikit possui o CalibratedClassifierCV , que permite calibrar nossos modelos em um par X, y específico. Também afirma claramente quedata for fitting the classifier and for calibrating it must be disjoint. Se eles devem ser desarticulados, é legítimo treinar o classificador com o seguinte?...
Estou classificando imagens usando aprendizado de máquina. Suponha que eu tenha alguns dados de treinamento (imagens) e os divida em conjuntos de treinamento e validação. E também quero aumentar os dados (produzir novas imagens a partir das originais) por rotações aleatórias e injeção de ruído. O...
Estive navegando em vários tópicos aqui, mas não acho que minha pergunta exata seja respondida. Eu tenho um conjunto de dados de ~ 50.000 alunos e seu tempo para desistir. Vou realizar uma regressão proporcional a riscos com um grande número de covariáveis em potencial. Também farei regressão...
A página do Scikit Learn na seleção de modelos menciona o uso de validação cruzada aninhada: >>> clf = GridSearchCV(estimator=svc, param_grid=dict(gamma=gammas), ... n_jobs=-1) >>> cross_validation.cross_val_score(clf, X_digits, y_digits) Dois loops de validação cruzada...
Acho que entendo como os fundamentos do bootstrap funcionam, mas não tenho certeza se entendo como posso usar o bootstrap para a seleção de modelos ou para evitar ajustes excessivos. Para a seleção de modelos, por exemplo, você escolheria o modelo que produz o menor erro (talvez variância?) Nas...
Alguém pode me explicar meu modelo de Cox em inglês simples? Eu ajustei o seguinte modelo de regressão de Cox em todos os meus dados usando a cphfunção Meus dados são salvos em um objeto chamado Data. As variáveis w, xe ysão contínuos; zé um fator de dois níveis. O tempo é medido em meses. Alguns...
Quando avaliamos a qualidade de uma floresta aleatória, por exemplo, usando AUC, é mais apropriado calcular essas quantidades nas amostras fora da bolsa ou no conjunto de validação cruzada de espera? Ouvi dizer que calculá-lo sobre as amostras OOB oferece uma avaliação mais pessimista, mas não...
Estou usando o scikit-learn para executar uma regressão logística com validação cruzada em um conjunto de dados (cerca de 14 parâmetros com> 7000 observações normalizadas). Eu também tenho um classificador de destino que tem um valor de 1 ou 0. O problema que tenho é que, independentemente do...
Suponha que eu tenha uma divisão 80/20 entre observações de modelagem / validação. Ajustei um modelo ao conjunto de dados de modelagem e me sinto confortável com o erro que estou vendo no conjunto de dados de validação. Antes de lançar meu modelo para escorar observações futuras, é apropriado...
Ao executar a validação cruzada de dobras k, entendo que você obtém as métricas de precisão apontando todas as dobras, exceto uma nessa dobra, e fazendo previsões, e repita esse processo vezes. Você pode executar métricas de precisão em todas as suas instâncias (precisão, recall,% classificada...
Normalmente, em regressão logística, ajustamos um modelo e obtemos algumas previsões sobre o conjunto de treinamento. Em seguida, validamos cruzadamente essas previsões de treinamento (algo como aqui ) e decidimos o valor do limite ideal com base em algo como a curva ROC. Por que não incorporamos...
Parece haver conselhos conflitantes por aí sobre como lidar com a comparação de erro de teste de trem versus teste, principalmente quando há uma lacuna entre os dois. Parece haver duas escolas de pensamento que, para mim, parecem conflitar. Estou procurando entender como conciliar os dois (ou...
Acabei de terminar "Uma Introdução à Aprendizagem Estatística" . Perguntei-me se o uso da validação cruzada para encontrar os melhores parâmetros de ajuste para várias técnicas de aprendizado de máquina é diferente da espionagem de dados. Estamos verificando repetidamente qual valor do parâmetro...
Estou tentando escrever minha própria função para análise de componentes principais, o PCA (é claro que já há muito escrito, mas estou interessado apenas em implementar coisas sozinho). O principal problema que encontrei é a etapa de validação cruzada e o cálculo da soma prevista dos quadrados...
Atualmente, estou tentando analisar um conjunto de dados de documento de texto que não tem nenhuma verdade. Disseram-me que você pode usar a validação cruzada k-fold para comparar diferentes métodos de armazenamento em cluster. No entanto, os exemplos que eu vi no passado usam uma verdade básica....