O desempenho da validação cruzada será uma indicação precisa para prever o verdadeiro desempenho em um conjunto de dados independente?

Sinto que esta questão está relacionada à teoria por trás da validação cruzada. Apresento aqui minha descoberta empírica e escrevi uma pergunta relacionada à teoria da validação cruzada lá .

Eu tenho dois modelos M1 e M2, uso o mesmo conjunto de dados para treiná-los e execute a validação cruzada usando o mesmo conjunto de dados para encontrar os parâmetros ideais para cada modelo. Digamos que, eventualmente, eu descobri que M1 sob seu parâmetro ideal, tem um desempenho melhor que M2 sob seu parâmetro ideal em termos de 10 vezes a pontuação de validação cruzada. Agora, se eu tiver outro conjunto de dados de teste independente com preditores e rótulos e esse conjunto de dados de teste for gerado a partir da mesma distribuição do meu conjunto de dados de treinamento, antes de aplicar esses dois modelos bem ajustados nesse novo conjunto de dados de teste, posso reivindicar ou devo esperar que o M1 ainda tenha um desempenho melhor que o M2 nesse novo conjunto de dados de teste?

Eu estava jogando o exemplo do Kaggle Titanic. Eu tenho 2 modelo xgboost, M1 está bem ajustado e M2 está menos bem ajustado, no sentido de que M1 tem uma melhor validação cruzada de 10 vezes, realizada no conjunto de dados de treinamento. Porém, quando enviei os dois, descobri que o modelo menos ajustado realmente tem melhores pontuações no conjunto de dados de teste. Como poderia ser? E se for verdade, o que devemos procurar quando ajustamos os dados em diferentes modelos e ajustamos os parâmetros do modelo?

Aqui estão meus resultados de envio específicos: fiz uma pesquisa em grade aleatória

params_fixed = {'silent': 1,'base_score': 0.5,'reg_lambda': 1,
'max_delta_step': 0,'scale_pos_weight':1,'nthread': 4,
'objective': 'binary:logistic'}
params_grid = {'max_depth': list(np.arange(1,10)),
'gamma': [0,0.05,0.1,0.3, 0.5,0.7,0.9],
'n_estimators':[1,2,5,7,10,15,19,25,30,50], 
'learning_rate': [0.01,0.03,0.05,0.1,0.3,0.5,0.7,0.9,1],
'subsample': [0.5,0.7,0.9], 'colsample_bytree': [0.5,0.7,0.9], 
'min_child_weight': [1,2,3,5], 'reg_alpha': [1e-5, 1e-2, 0.1, 0.5,1,10]
}
rs_grid = RandomizedSearchCV(
          estimator=XGBClassifier(**params_fixed, seed=seed),
          param_distributions=params_grid,
          n_iter=5000,   
          cv=10,
          scoring='accuracy',
          random_state=seed
)

Cada vez que eu mudo a variável n_iter. Primeiro, eu defino n_iter=10, ele me fornece um conjunto de valores desses hiper parâmetros, vamos chamar esse vetor$\alpha_1$e a pontuação cv (taxa de precisão) é 0,83389 , então eu uso$\alpha_1$para treinar meu modelo e gerar previsão no conjunto de dados de teste independente e, quando envio ao Kaggle, ele gera uma precisão verdadeira no conjunto de dados de teste 0.79426

Segundo, defino n_iter=100, isso me dá$\alpha_2$e o escore cv é 0,83614 , ou seja, maior que o primeiro, faz sentido, mas quando me submeto a Kaggle, 0,78469 , menor que o primeiro.

Terceiro, defino n_iter = 1000, isso me dá$\alpha_3$e a pontuação cv é 0,83951 , ou seja, maior que o segundo, faz sentido, mas quando me submeto ao Kaggle, 0,77990 , menor que o segundo.

Quarto, eu defino n_iter = 5000, isso me dá$\alpha_4$e a pontuação cv é 0,84512 , ou seja, maior que o terceiro, faz sentido, mas quando me submeto a Kaggle, 0,72249 , menor que o terceiro.

Isso é realmente frustrado. O modelo está cada vez melhor na pontuação de validação cruzada, mas quando executado em um conjunto de dados independente real, seu desempenho está ficando cada vez pior. Interpretei as pontuações do CV da maneira exatamente oposta? Vejo algum artigo mencionado que a pontuação do CV pode ser otimista demais para inferir a verdadeira pontuação do teste. No entanto, mesmo que isso seja verdade, acho que as pontuações de CV para todos os meus quatro modelos devem ser otimistas quanto à sua própria pontuação de teste, ou seja, a ordem deve preservar. Mas, ao aplicar no conjunto de dados de teste real, a ordem foi revertida.

A única razão pela qual posso imaginar seria que o conjunto de dados de teste tem uma distribuição diferente do conjunto de dados de treinamento. No entanto, se for esse o caso, acredito que não exista um método sob o sol que possa curar esse problema.

Primeiro, uma resposta pragmática: não descarte a possibilidade de que o conjunto de testes venha de uma distribuição um pouco diferente do conjunto de dados que você está usando para treinamento e validação cruzada. Você pode pensar que isso não deveria acontecer, mas na prática parece ocorrer.

Dito isso, vamos prosseguir com sua hipótese e assumir que o conjunto de testes vem exatamente da mesma distribuição que o restante dos seus dados. Nesse caso, é possível que a validação cruzada o desvie de qual modelo é melhor, se você estiver usando a validação cruzada para selecionar hiperparâmetros.

Você pode usar a validação cruzada para (a) selecionar hiperparâmetros ou (b) estimar a precisão do seu modelo - mas não os dois ao mesmo tempo.

Parece que você está usando a validação cruzada para selecionar os hiperparâmetros ideais: você tenta várias opções diferentes para os hiperparâmetros, para cada estimativa estimar a precisão dessa escolha usando a validação cruzada e seleciona a melhor opção. Quando você faz isso, não há garantia de que a precisão resultante (com o melhor parâmetro) seja preditiva do desempenho no conjunto de testes - pode ser uma superestimação (devido ao excesso de ajuste). Se é mais uma superestimação para M1 que M2, então você pode ver o que viu.

Se você deseja selecionar hiperparâmetros e estimar a precisão, sugiro que você tenha um conjunto de validação independente separado para estimar a precisão ou use a validação cruzada aninhada. Consulte https://stats.stackexchange.com/q/65128/2921 e http://scikit-learn.org/stable/auto_examples/model_selection/plot_nested_cross_validation_iris.html .

posso reivindicar ou devo esperar que o M1 ainda tenha um desempenho melhor que o M2 nesse novo conjunto de dados de teste?

Sim você deveria. Claro que sob as condições que

1. os dados de teste provêm do mesmo processo de geração que os dados de treinamento e validação, e
2. você tem dados suficientes em cada conjunto para tornar improváveis ​​as flutuações estatísticas.

O modelo está cada vez melhor na pontuação de validação cruzada, mas quando executado em um conjunto de dados independente real, seu desempenho está ficando cada vez pior.

Eu posso pensar em duas razões:

1. O conjunto de dados de teste não é realmente gerado da mesma maneira. Portanto, é melhor não confiar no conjunto de testes Kaggle ao qual você não tem acesso. Use os dados que você possui.

2. Você está em excesso, o que significa que não está executando a validação cruzada corretamente. Certifique-se de que o treinamento dos parâmetros ocorra nos dados do treinamento e, ao mesmo tempo, que a validação ocorra nos dados que você não usou para o treinamento. Compare os histogramas das perdas de treinamento e as perdas de validação. As perdas de treinamento devem ser consistentemente menores que as perdas de validação. Faça o mesmo com as perdas nos dados de teste para obter uma imagem consistente.

Nota final e final: Espera-se que o desempenho no conjunto de testes seja inferior ao desempenho no conjunto de validação. Isso ocorre porque o modelo é escolhido com base no conjunto de validação. Portanto, é tendencioso para esse conjunto de dados.

É possível. Pense em um cenário simples em que o modelo M1aprendeu melhor a variação do conjunto de dados de treinamento do Dque o modelo, M2pois seus parâmetros são melhor ajustados. Isso significa um M1desempenho melhor Dque M2.

Mas quando os testamos no conjunto de testes T, é possível que ele tenha um M2desempenho melhor, pois M1pode estar se ajustando excessivamente Denquanto M2não estava. Portanto, M1executa pior Tque M2.

Isso pode ser devido ao fato de você ter realizado sua validação cruzada no mesmo conjunto de dados em vez de um conjunto de validação. Se você treinar e validar no mesmo conjunto, é provável que perca o fato de que isso pode estar se adaptando demais. Portanto, é sempre melhor treinar, validar e testar em diferentes conjuntos de dados. Então o fluxo deve ser

1. Treine modelos diferentes no mesmo conjunto de treinamento
2. Validado no conjunto de validação
3. Escolha o melhor desempenho com base no modelo no conjunto de validação
4. Use-o para pontuar seu conjunto de testes.

A teoria por trás da validação cruzada (validação cruzada em V) foi abordada em muitos artigos. Há uma prova disso em um conjunto de documentos publicados de 2003 a 2007. Por favor, consulte: - oracle selector. 2006 - super aprendiz 2007 - super aprendiz na previsão 2010 - validação cruzada unificada 2003