Tenho uma pergunta sobre a otimização de parâmetros quando uso a validação cruzada de 10 vezes.
Quero perguntar se os parâmetros devem ser corrigidos ou não durante o treinamento do modelo de cada dobra, ou seja, (1) selecione um conjunto de parâmetros otimizados para a precisão média de cada dobra.
ou
(2) Eu deveria encontrar o parâmetro otimizado para cada dobra e, em seguida, cada dobra usa diferentes parâmetros otimizados para treinar seu modelo, testar nos dados de teste da dobra, respectivamente, e finalmente avaliar a precisão de cada dobra como resultado?
Qual é o método correto para validação cruzada? Muito obrigado.
Respostas:
Vamos primeiro distinguir entre dois conjuntos de parâmetros: parâmetros do modelo (por exemplo, pesos para características em regressão) e parâmetros para o algoritmo de aprendizado (e hiperparâmetros). O objetivo da validação cruzada é identificar parâmetros de aprendizado que generalizem bem em todas as amostras da população que aprendemos em cada dobra.
Mais especificamente: pesquisamos globalmente no espaço sobre parâmetros de aprendizado, mas em cada dobra, corrigimos parâmetros de aprendizado e aprendemos os parâmetros do modelo. O resultado deve ser aprender parâmetros que produzam, em média, o melhor desempenho em todas as dobras. Em seguida, podemos usá-los para treinar um modelo em todo o conjunto de dados.
fonte
Eu acho que a resposta atualmente aceita é incompleta de uma maneira infeliz. Eu não concordo com a frase
Esta é realmente uma aplicação muito importante da validação cruzada, mas não a única. Normalmente, você quer fazer duas coisas:
Agora, para concluir o objetivo 1, dependendo do seu algoritmo, talvez seja necessário ajustar alguns hiperparâmetros e isso é realmente feito com validação cruzada. Mas isso ainda não ajuda no objetivo 2. Para isso, você precisa basicamente aninhar a validação cruzada, assim:
Para construir um bom modelo, você só precisa da validação cruzada interna. Você ainda precisará fazer isso para obter um bom modelo. Mas, para obter uma boa estimativa do desempenho do modelo, é necessário executar todo o processo de construção do modelo dentro de um esquema de validação cruzada. Isso também inclui etapas como imputação etc.
fonte