Com a validação cruzada k-fold, você calcula a média de todos os

13

Ao executar a validação cruzada de dobras k, entendo que você obtém as métricas de precisão apontando todas as dobras, exceto uma nessa dobra, e fazendo previsões, e repita esse processo vezes. Você pode executar métricas de precisão em todas as suas instâncias (precisão, recall,% classificada corretamente), que devem ser as mesmas que se você as calculasse todas as vezes e calculasse a média do resultado (corrija-me se estiver errado).k

O resultado final que você deseja é um modelo final.

k

Morsa, o gato
fonte

Respostas:

15

A mira de kvalidação cruzada em duplicado não é produzir um modelo; é comparar modelos.

Os resultados de um experimento de validação cruzada podem indicar que o Support Vector Machines supera o Naive Bayes em seus dados ou que os hiper parâmetros do classificador devem ser definidos como c para esse conjunto de dados específico. Armado com esse conhecimento, você treina um classificador de "produção" com TODOS os dados disponíveis e aplica-o ao seu problema.

Em muitos casos, ainda não está claro como você calcula a média de vários modelos. Por exemplo, qual é a média de três árvores de decisão ou classificadores de vizinhos mais próximos?

É importante ter em mente que os resultados da validação cruzada são estimativas, não garantias, e essas estimativas são mais válidas se o classificador de produção for treinado com uma qualidade (e quantidade) similar de dados. Houve bastante trabalho no desenvolvimento de maneiras de usar essas estimativas para realizar inferência; isto é, de maneira estatisticamente sólida, esse método A é geralmente superior ao método B nesses dados.

Matt Krause
fonte
2
Qual é uma boa referência sobre o uso de estimativas de validação cruzada k-fold para inferência? Eu adoraria ler isso se você tiver uma boa parte.
Tentaclenorm
1
Um local decente para começar pode ser iro.umontreal.ca/~lisa/bib/pub_subject/finance/pointeurs/…, mas existem várias abordagens diferentes.
Matt Krause
1
mais uma coisa a esclarecer: quando treinamos o classificador de "produção" usando todos os dados, como entendemos quando parar?
Anton