Boa literatura sobre validação cruzada

10

Alguém conhece um bom livro / página da web para começar a aprender as técnicas de validação cruzada?

references cross-validation MarkDollar
fonte

Respostas:

2

Este site tem ótimas informações.

Em particular, a quarta seção deste PDF é o que você está procurando

Peter K.
fonte
5

Se a validação cruzada deve ser usada para seleção de modelo / recurso, vale lembrar que é possível ajustar demais a estatística de validação cruzada e terminar com um modelo com desempenho ruim e a estatística otimizada de validação cruzada pode ser uma estimativa de desempenho severamente otimista. Os efeitos disso podem ser surpreendentemente grandes. Consulte Ambroise e McLachlan para obter um exemplo disso em uma configuração de seleção de recurso e Cawley e Talbot para um exemplo em uma configuração de seleção de modelo.

Dikran Marsupial
fonte
É bom mencionar isso, mas deve-se dizer duas vezes que esses são exemplos de uso indevido ou excesso de confiança do CV, e não algumas desvantagens do próprio método.
11
de fato, no entanto, é uma maneira pela qual é comumente mal utilizado - por isso é importante estar ciente ao aprender sobre a validação cruzada! Mais validação cruzada geralmente é uma boa solução, ou seja, validação cruzada aninhada ou, como Stone coloca, a validação "cruzada dupla". O problema afeta praticamente qualquer critério de seleção de recurso ou modelo que seja otimizado para obter um modelo; não há nada de especial na validação cruzada nesse sentido.
Dikran Marsupial