E se alta precisão de validação, mas baixa precisão de teste em pesquisa?

Eu tenho uma pergunta específica sobre validação na pesquisa de aprendizado de máquina.

Como sabemos, o regime de aprendizado de máquina solicita que os pesquisadores treinem seus modelos nos dados de treinamento, escolha modelos candidatos por conjunto de validação e relate a precisão no conjunto de testes. Em um estudo muito rigoroso, o conjunto de testes pode ser usado apenas uma vez. No entanto, nunca pode ser o cenário de pesquisa, porque precisamos melhorar nosso desempenho até que a precisão do teste seja melhor do que os resultados mais avançados antes que possamos publicar (ou mesmo enviar) um artigo.

Agora vem o problema. Digamos que 50% é o resultado mais avançado, e meu modelo geralmente consegue uma precisão de 50 a 51, o que é melhor em média.

No entanto, minha melhor precisão de validação (52%) produz uma precisão de teste muito baixa, por exemplo, 49%. Então, tenho que relatar 49% como meu desempenho geral se não puder melhorar ainda mais a validação, o que acho que não tem esperança. Isso realmente me impede de estudar o problema, mas isso não importa para meus colegas, porque eles não veem os 52% de acentos, o que eu acho que é um erro.

Então, como as pessoas costumam fazer em suas pesquisas?

A validação do ps k fold não ajuda em nada, porque a mesma situação ainda pode acontecer.

Por definição, quando a precisão do treinamento (ou qualquer métrica que você estiver usando) for maior que o seu teste, você terá um modelo de super ajuste . Em essência, seu modelo aprendeu detalhes que o ajudam a ter melhor desempenho nos dados de treinamento que não são aplicáveis ​​à população de dados maior e, portanto, resultam em pior desempenho.

Não sei por que você diz que a validação do k-fold não seria útil. Seu objetivo é ajudar a evitar o excesso de ajuste nos seus modelos. Talvez você não tenha dados suficientes? Uma declaração como essa é importante, especialmente se você defenderá alguma pesquisa quando esses métodos de validação cruzada forem altamente recomendados.

Você diz que não é capaz de usar o conjunto de testes apenas uma vez (mais uma vez presumo um tamanho de amostra menor?). Na minha experiência, o caminho mais comum seguido é a validação cruzada k-fold do seu modelo. Vamos dar um exemplo com CV 10 vezes para um tamanho de amostra de 100 e supor que seu problema de classificação seja binário para simplificar os cálculos. Portanto, dividi meus dados em 10 dobras diferentes . Depois, encaixei meu modelo em 9/10 dobras e depois prevejo o 1/10 que deixei de fora. Para esta primeira execução, a matriz de confusão resultante é:

    0  1
0   4  1
1   2  3

Repito essa análise novamente com a próxima 1/10 dobra deixada de fora e treino nas outras 9/10. E pegue minha próxima matriz de confusão. Depois de concluído, tenho 10 matrizes de confusão. Em seguida, somaria essas matrizes (para ter todas as 100 amostras previstas) e depois relataria minhas estatísticas (precisão, PPV, pontuação na F1, Kappa etc.). Se a sua precisão não estiver onde você deseja, existem muitas outras possibilidades.

1. Seu modelo precisa ser aprimorado (alterar parâmetros)
2. Pode ser necessário tentar um algoritmo de aprendizado de máquina diferente (nem todos os algoritmos criados iguais)
3. Você precisa de mais dados (relacionamento sutil difícil de encontrar)
4. Pode ser necessário tentar transformar seus dados (dependendo do algoritmo usado)
5. Pode não haver relação entre suas variáveis ​​dependentes e independentes

O fato é que uma métrica de teste mais baixa (por exemplo, precisão) do que o seu treinamento é indicativa de sobreajustar seu modelo, não algo que você deseja ao tentar criar um novo modelo preditivo.