Estou treinando uma rede neural para classificação de áudio.
Eu o treinei no conjunto de dados UrbanSound8K (Modelo1) e depois quis avaliar como diferentes níveis de ruído adicionado às entradas influenciavam a precisão da previsão. Precisão da linha de base Modelo1 = 65%
Como esperado, níveis mais altos de ruído resultaram em menor precisão.
Então, decidi realizar o aumento de dados com ruído (Modelo2) . Então, peguei o conjunto de dados e o dupliquei com os mesmos arquivos, mas adicionando ruído rosa (+0 dB SNR) a eles.
Como esperado (por mim), a precisão geral aumentou (0,5%), e a rede tornou-se mais robusta à corrupção de ruído das entradas.
Contudo! Uma coisa que eu não esperava era que agora a rede reduziu sua precisão ao prever apenas entradas não corrompidas com ruído (entradas de validação). De alguma forma, ele se super adaptou às entradas limpas, reduzindo assim a precisão da previsão nesses áudios.
Assim, em números, o Model2 prevê com 69% de precisão nas entradas barulhentas (não necessariamente o mesmo ruído com o qual foi treinado) e 47% de precisão nas entradas limpas.
Existe alguma explicação ou intuição para esse resultado?
Eu esperava que a rede, agora com mais e mais variados dados de treinamento, aprendesse recursos mais significativos. Acho que é mais difícil se adaptar demais às entradas barulhentas, mas ainda não entendo por que ela se ajustou principalmente às entradas limpas.
------------------------------------------------- EDITAR 1 ------------------------------------------------- ---------------
Outra informação que pode ser útil:
Mesmo ao avaliar o Model2 em entradas barulhentas com muito pouco ruído, a rede ainda funciona muito melhor do que em apenas entradas limpas (que são muito parecidas com as entradas com pouco ruído para nossos ouvidos)
Respostas:
Você ajusta um modelo a recursos de entrada sem erros. Em seguida, você adicionou algum erro (ruído) aos mesmos dados e ajustou o modelo novamente. Você observou pior previsão nas entradas ruidosas (entradas com erro) do que nas entradas sem ruído (entradas sem erro). Você esperava que o modelo fosse tão bom quanto o modelo anterior em entradas sem ruído e melhor em entradas ruidosas.
Você não adicionou mais dados de treinamento; simplesmente duplicou os mesmos dados com ruído. Intuitivamente, um modelo treinado em TODAS as entradas sem ruído terá previsões mais precisas quando as entradas também estiverem isentas de ruído do que um modelo treinado em TODAS as informações com ruído. Da mesma forma, minha intuição é que um modelo treinado com todos os dados ruidosos será mais preciso ao prever entradas ruidosas do que um modelo treinado com todos os dados sem ruído. Se você tem uma mistura de dados sem ruído e com ruído, minha intuição é que você terá melhores previsões sobre dados ruidosos do que um modelo treinado apenas com dados sem ruído e melhores previsões com dados sem ruído do que um modelo treinado apenas com dados ruidosos. Isso parece consistente com o que você observou.
EDITAR:
Basicamente, o ajuste excessivo ocorre quando confundimos ruído nos dados com sinal. Uso o termo ruído no sentido conceitual de informações inúteis ou informações específicas apenas para dados de treinamento. Se isso ocorrer, o modelo ajusta bem os dados de treinamento, mas não generaliza bem. Imagine que temos pontos e o modelo interpola todos os pontos. Se os pontos forem barulhentos, esse comportamento é indesejável. Meu conhecimento rudimentar de aumento de dados é que ele reduz o excesso de ajustes, porque quando adicionamos ruído aos dados de treinamento, o modelo em que ajustamos tenderá a equilibrar o erro entre esses pontos próximos, a fim de minimizar o erro geral. Esse modelo é melhor em um sentido médio, pois apresenta menos erros ao prever dados ruidosos e sem ruído. Generalizará melhor para dados que podem ser ligeiramente diferentes dos dados de treinamento. Contudo,
fonte