Como identificar o sobreajuste na rede neural convolucional?

Entendo que o abandono é usado para reduzir o excesso de adaptação na rede. Esta é uma técnica de generalização.

Na rede neural convolucional, como posso identificar o sobreajuste?

Uma situação em que consigo pensar é quando obtenho uma precisão de treinamento muito alta em comparação à precisão de teste ou validação. Nesse caso, o modelo tenta se ajustar demais às amostras de treinamento e apresenta um desempenho ruim nas amostras de teste.

Essa é a única maneira que indica se deve ser aplicada a desistência ou deve ser adicionada cegamente ao modelo, na esperança de aumentar a precisão dos testes ou da validação

machine-learning overfitting conv-neural-network dropout Kapes
fonte

Até onde eu sei, a evasão nunca poderia machucar. Outra maneira de monitorar o potencial de super adaptação é representar graficamente a magnitude de seus pesos. Pesos mais altos levam a sobreajuste.

Frobot 30/03/16

Respostas:

Na rede neural convolucional, como posso identificar o sobreajuste?

Comparar o desempenho no treinamento (por exemplo, precisão) versus o desempenho no teste ou na validação é a única maneira (esta é a definição de overitting).

o abandono deve ser cegamente adicionado ao modelo na esperança de aumentar a precisão dos testes ou da validação?

A desistência geralmente ajuda, mas a taxa ideal de desistência depende do conjunto de dados e do modelo. A desistência também pode ser aplicada a diferentes camadas da rede. Exemplo de Otimização de hiperparâmetros de redes neurais com processos gaussianos para classificação de atos de diálogo , IEEE SLT 2016 .:

Você também pode fazer algumas paradas precoces:

Franck Dernoncourt
fonte