Como funciona a validação cruzada de exclusão única? Como selecionar o modelo final de

25

Eu tenho alguns dados e quero construir um modelo (por exemplo, um modelo de regressão linear) a partir desses dados. Em uma próxima etapa, quero aplicar a validação cruzada de uma saída para fora (LOOCV) no modelo para ver o desempenho.

Se entendi direito o LOOCV, construo um novo modelo para cada uma das minhas amostras (o conjunto de testes) usando todas as amostras, exceto esta amostra (o conjunto de treinamento). Então eu uso o modelo para prever o conjunto de testes e calcular os erros .(predito-real)

Em uma próxima etapa, agrego todos os erros gerados usando uma função escolhida, por exemplo, erro quadrático médio. Eu posso usar esses valores para julgar a qualidade (ou qualidade do ajuste) do modelo.

Pergunta: Para qual modelo esses valores de qualidade se aplicam, qual modelo devo escolher se achar que as métricas geradas pelo LOOCV são apropriadas para o meu caso? LOOCV analisou modelos diferentes (onde é o tamanho da amostra); qual é o modelo que devo escolher?nnn

  • É o modelo que utiliza todas as amostras? Este modelo nunca foi calculado durante o processo LOOCV!
  • É o modelo que tem o menor erro?
cross-validation theomega
fonte
Relacionado: stats.stackexchange.com/questions/11602 .
ameba diz Restabelecer Monica

Respostas:

24

n-1 1n

Em vez de escolher um modelo, o ideal é ajustá-lo a todos os dados e usar o LOO-CV para fornecer uma estimativa ligeiramente conservadora do desempenho desse modelo.

Observe, no entanto, que o LOOCV possui uma alta variação (o valor que você obterá varia muito se você usar uma amostra aleatória diferente de dados), o que geralmente o torna uma má escolha do estimador para avaliação de desempenho, mesmo que seja aproximadamente imparcial. Eu o uso o tempo todo para a seleção de modelos, mas realmente apenas porque é barato (quase grátis para os modelos de kernel em que estou trabalhando).

Dikran Marsupial
fonte
Obrigado pela resposta. Não é a frase "use LOO-CV para fornecer uma estimativa ligeiramente conservadora do desempenho desse modelo". errado é o caso geral? O modelo pode piorar se eu adicionar outro ponto; nesse caso, o LOO-CV pode ser um. estimativa otimista
theomega
11
Quanto mais dados você usar para construir o modelo, geralmente melhor será o modelo. Embora o ponto adicional possa piorar o modelo, é mais provável que ele fique um pouco melhor. Portanto, em geral, o loocv tem um leve viés pessimista, mas é muito pouco, a variação do estimador LOOCV é geralmente uma consideração muito maior.
Dikran Marsupial
O que você deve usar para avaliação de desempenho então? (Supondo que a coleta de dados seja cara, você deseja usar todos os dados disponíveis para ajustar-se ao modelo).
Sideshow Bob
Bootstrap provavelmente. A maioria dos modelos que eu uso possui parâmetros de regularização, etc., que precisam ser ajustados, portanto, frequentemente, uso o LOOCV para ajustar os modelos e a autoinicialização ou retenção repetida para avaliação de desempenho.
Dikran Marsupial
@DikranMarsupial Você tem certeza do fato de que o CV de licença única fornece um viés pessimista? Até onde eu sei, geralmente fornece estimativas de erro mais baixas do que o K-Fold, por exemplo. Além disso, LOOCV não tem variação 0? Você pode fazer LOOCV apenas uma vez e depois "ficar sem amostra". A única variação que consigo pensar é aquela produzida pelos algoritmos de treinamento usados ​​para ajustar-se ao modelo. Mas isso deve ser uma variação associada à variação dos parâmetros ótimos, não ao erro do modelo em si. Obrigado.
D1X