Gostaria de saber se alguém conhece um compêndio de técnicas de validação cruzada com uma discussão das diferenças entre eles e um guia sobre quando usar cada um deles. A Wikipedia possui uma lista das técnicas mais comuns, mas estou curioso para saber se existem outras técnicas e se existem...
Existem estudos empíricos que justifiquem o uso da regra de erro padrão em favor da parcimônia? Obviamente, depende do processo de geração de dados, mas qualquer coisa que analise um grande conjunto de conjuntos de dados seria uma leitura muito interessante. A "regra de erro padrão" é aplicada...
Eu tenho usado o pacote de intercalação no R para criar modelos preditivos para classificação e regressão. O Caret fornece uma interface unificada para ajustar os hiper-parâmetros do modelo por validação cruzada ou correias de inicialização. Por exemplo, se você está construindo um modelo simples...
TL, DR: Parece que, ao contrário do conselho muitas vezes repetida, leave-one-out validação cruzada (LOO-CV) - isto é,CV fold com(o número de dobras) igual a(o número das observações de treinamento) - produz estimativas do erro de generalização que é a menor variável para qualquer, não a mais...
Em todos os contextos, eu estou familiarizado com a validação cruzada, que é usada apenas com o objetivo de aumentar a precisão preditiva. A lógica da validação cruzada pode ser estendida na estimativa das relações imparciais entre variáveis? Embora este artigo de Richard Berk demonstre o uso de...
Estou tentando descobrir qual método de validação cruzada é melhor para minha situação. Os dados a seguir são apenas um exemplo para solucionar o problema (em R), mas meus Xdados reais ( xmat) são correlacionados entre si e em graus diferentes com a yvariável ( ymat). Forneci o código R, mas...
Ao usar a validação cruzada para fazer a seleção do modelo (como por exemplo, ajuste de hiperparâmetro) e avaliar o desempenho do melhor modelo, deve-se usar a validação cruzada aninhada . O loop externo é para avaliar o desempenho do modelo, e o loop interno é para selecionar o melhor modelo; o...
Eu tenho um conjunto de dados para o qual tenho vários conjuntos de rótulos binários. Para cada conjunto de rótulos, treino um classificador, avaliando-o por validação cruzada. Quero reduzir a dimensionalidade usando a análise de componentes principais (PCA). Minha pergunta é: É possível executar...
Por que um procedimento de validação cruzada supera o problema de sobreajustar um
Essa questão pode ser muito aberta para obter uma resposta definitiva, mas espero que não. Algoritmos de aprendizado de máquina, como SVM, GBM, Random Forest etc., geralmente possuem alguns parâmetros livres que, além de algumas orientações básicas, precisam ser ajustados para cada conjunto de...
Existem vários threads no CrossValidated no tópico seleção de modelo e validação cruzada. Aqui estão alguns: Validação cruzada interna x externa e seleção de modelo A melhor resposta de @ DikranMarsupial para Seleção de recursos e validação cruzada No entanto, as respostas para esses...
Recentemente, me deparei com um artigo que propõe o uso de um classificador k-NN em um conjunto de dados específico. Os autores usaram todas as amostras de dados disponíveis para realizar a validação cruzada de dobras k para diferentes valores de k e relatam os resultados da validação cruzada da...
Estou tentando aprender vários métodos de validação cruzada, principalmente com a intenção de aplicar a técnicas de análise multivariada supervisionada. Dois que eu encontrei são as técnicas de validação cruzada K-fold e Monte Carlo. Eu li que o K-fold é uma variação de Monte Carlo, mas não tenho...
Estou validando cruzadamente um modelo que está tentando prever uma contagem. Se esse fosse um problema de classificação binária, eu calcularia a AUC fora da dobra e, se esse fosse um problema de regressão, calcularia o RMSE ou o MAE fora da dobra. Para um modelo de Poisson, que métricas de erro...
Disseram-me que é benéfico usar a validação cruzada estratificada, especialmente quando as classes de resposta são desequilibradas. Se um objetivo da validação cruzada é ajudar a explicar a aleatoriedade da nossa amostra de dados de treinamento original, certamente fazer com que cada dobra tenha a...
Acabei de me deparar com este artigo , que descreve como calcular a repetibilidade (também conhecida como confiabilidade, também conhecida como correlação intraclasse) de uma medição via modelagem de efeitos mistos. O código R seria: #fit the model fit = lmer(dv~(1|unit),data=my_data) #obtain the...
Eu tenho uma pergunta sobre o processo de validação cruzada. Estou no meio de um curso de Machine Learning no Cursera. Um dos tópicos é sobre a validação cruzada. Achei um pouco difícil de seguir. Eu sei por que precisamos do CV porque queremos que nossos modelos funcionem bem em dados futuros...
Na classificação de texto, tenho um conjunto de treinamento com cerca de 800 amostras e um conjunto de testes com cerca de 150 amostras. O conjunto de teste nunca foi usado e aguarda para ser usado até o final. Estou usando todo o conjunto de treinamento de 800 amostras, com validação cruzada de...
É sabido, especialmente no processamento de linguagem natural, que o aprendizado de máquina deve prosseguir em duas etapas, uma etapa de treinamento e uma etapa de avaliação, e eles devem usar dados diferentes. Por que é isso? Intuitivamente, esse processo ajuda a evitar o ajuste excessivo dos...
A validação cruzada K-fold pode ser usada para estimar a capacidade de generalização de um determinado classificador. Posso (ou devo) também calcular uma variação combinada de todas as execuções de validação para obter uma estimativa melhor de sua variação? Se não, por que? Encontrei documentos...