Eu estou querendo saber como abordar adequadamente o treinamento e o teste de um modelo LASSO usando glmnet no R? Especificamente, estou pensando em como fazer isso, se a falta de um conjunto de dados de teste externo exigir que eu use a validação cruzada (ou outra abordagem semelhante) para...
Entendo que a estimativa de validação cruzada do erro de teste com dobra k geralmente subestima o erro de teste real. Estou confuso por que esse é o caso. Entendo por que o erro de treinamento geralmente é menor que o erro de teste - porque você está treinando o modelo com os mesmos dados em que...
Eu obtive três modelos reduzidos de um modelo completo original usando seleção para a frente eliminação para trás Técnica de penalização L1 (LASSO) Para os modelos obtidos usando seleção direta / eliminação reversa, obtive a estimativa validada cruzada do erro de previsão usando o CVlmpacote...
Estou tentando utilizar a regressão de RF para fazer previsões sobre o desempenho de uma fábrica de papel. Eu tenho dados minuto a minuto para as entradas (taxa e quantidade de polpa de madeira entrando etc ...), bem como para o desempenho da máquina (papel produzido, energia consumida pela...
Estive repensando uma resposta que dei a uma pergunta há algumas semanas A validação cruzada de retenção produz um único conjunto de testes que pode ser usado repetidamente para demonstração. Todos nós concordamos que isso é, de muitas maneiras, uma característica negativa, uma vez que o conjunto...
Suponha que eu tenha um tamanho pequeno de amostra, por exemplo, N = 100 e duas classes. Como devo escolher os tamanhos de treinamento, validação cruzada e conjunto de testes para aprendizado de máquina? Eu escolheria intuitivamente Tamanho do conjunto de treinamento como 50 Conjunto de...
Estou tentando descobrir se meu entendimento da validação cruzada aninhada está correto, por isso escrevi este exemplo de brinquedo para verificar se estou certo: import operator import numpy as np from sklearn import cross_validation from sklearn import ensemble from sklearn.datasets import...
Ao ler o site, muitas respostas sugerem que a validação cruzada deve ser feita em algoritmos de aprendizado de máquina. No entanto, ao ler o livro "Entendendo o aprendizado de máquina", vi um exercício que às vezes é melhor não usar a validação cruzada. Estou realmente confuso. Quando o algoritmo...
Costumo ver pessoas falando sobre validação cruzada 5x2 como um caso especial de validação cruzada aninhada . Suponho que o primeiro número (aqui: 5) se refira ao número de dobras no loop interno e o segundo número (aqui: 2) se refira ao número de dobras no loop externo? Então, como isso difere de...
Tanto quanto eu vi, as opiniões tendem a diferir sobre isso. As melhores práticas certamente ditariam a validação cruzada (especialmente se comparar RFs com outros algoritmos no mesmo conjunto de dados). Por outro lado, a fonte original afirma que o fato de o erro OOB ser calculado durante o...
Eu tenho alguns dados que existem em um gráfico . Os vértices pertencem a uma das duas classes e estou interessado em treinar um SVM para distinguir entre as duas classes. Um kernel apropriado para isso é o kernel de difusão , onde é o Laplaciano de e é um parâmetro de
Eu tenho uma regressão aleatória da floresta criada usando skl e observo que produzo resultados diferentes com base na definição da semente aleatória com valores diferentes. Se eu usar o LOOCV para estabelecer qual semente funciona melhor, esse é um método válido?
Recentemente, comecei a usar a validação cruzada de amostras de importância suavizada Pareto (PSIS-LOO), descrita nestes documentos: Vehtari, A. e Gelman, A. (2015). Pareto suavizou a amostragem de importância. pré-impressão do arXiv ( link ). Vehtari, A., Gelman, A. e Gabry, J. (2016). Avaliação...
Portanto, tenho 16 ensaios em que estou tentando autenticar uma pessoa de uma característica biométrica usando a Distância de Hamming. Meu limite está definido como 3,5. Meus dados estão abaixo e apenas o teste 1 é um verdadeiro positivo: Trial Hamming Distance 1 0.34 2 0.37 3 0.34 4 0.29 5 0.55 6...
Minha pergunta: devo fazer CV mesmo para um conjunto de dados relativamente grande? Eu tenho um conjunto de dados relativamente grande e aplicarei um algoritmo de aprendizado de máquina ao conjunto de dados. Como meu PC não é rápido, o CV (e a busca na grade) às vezes leva muito tempo. Em...
Estou desenvolvendo sistemas de negociação automatizados para o mercado de ações. O grande desafio tem sido excessivo. Você pode recomendar alguns recursos que descrevam métodos para medir e evitar ajustes excessivos? Comecei com conjuntos de treinamento / validação, mas o conjunto de validação...
Estou usando 2 tipos de regressão logística - um é o tipo simples, para classificação binária, e o outro é regressão logística ordinal. Para calcular a precisão do primeiro, usei a validação cruzada, onde calculei a AUC para cada dobra e calculei a AUC média. Como posso fazer isso para a regressão...
Talvez essa seja uma pergunta tola, mas, ao gerar um modelo com sinal de intercalação e usar algo como LOOCVou (ainda mais direto ao ponto) LGOCV, qual é o benefício de dividir dados em conjuntos de trens e testes, se é basicamente isso que a etapa de validação cruzada faz assim mesmo? Eu li...
Li as duas páginas da wikipedia de análise de sensibilidade e validação de modelo (aqui, apenas validação de regressão linear), mas não consigo encontrar uma maneira de separar esses dois termos. Tenho a impressão de que o primeiro é mais utilizado na academia e na engenharia em geral e o segundo...
Li os classificadores algébricos: uma abordagem genérica para validação cruzada rápida, treinamento on-line e paralelo e fiquei impressionado com o desempenho dos algoritmos derivados. No entanto, parece que além de Naive Bayes (e GBMs) não existem muitos algoritmos adaptados à estrutura. Existem...