Quão poucos exemplos de treinamento são poucos ao treinar uma rede neural?

14

Sou iniciante tentando montar meu primeiro projeto. Eu tinha um projeto de classificação de músicas em mente, mas como eu seria rotulado manualmente, eu só conseguia reunir razoavelmente cerca de 1000 músicas ou 60 horas de música.

Eu classificaria com várias aulas, então é possível que uma aula tenha entre 50 e 100 músicas no conjunto de treinamento - isso parece muito pouco! Existe uma regra geral para a quantidade de dados necessários para treinar uma rede neural para tentar trabalhar?

Edit: Eu estava pensando em usar um LSTM de baunilha. Os recursos de entrada terão a dimensão 39, dimensão de saída 6, minha primeira tentativa de dimensão da camada oculta seria 100.

neural-networks arrey
fonte
2
Isso não é realmente responsável, porque nem todas as tarefas são fáceis, e diferentes arquiteturas de rede e seleções de hiperparâmetros melhoram / prejudicam modelos diferentes de maneiras diferentes.
Sycorax diz Reinstate Monica
No mínimo, você precisa especificar sua estrutura de rede e quantos links haverá para treinar.
gung - Restabelece Monica

Respostas:

16

Realmente depende do seu conjunto de dados e da arquitetura da rede. Uma regra geral que li (2) foi de alguns milhares de amostras por classe para a rede neural começar a ter um desempenho muito bom.

Na prática, as pessoas tentam ver. Não é raro encontrar estudos mostrando resultados decentes com um conjunto de treinamento menor que 1000 amostras.

Uma boa maneira de avaliar até que ponto pode ser benéfico ter mais amostras de treinamento é traçar o desempenho da rede neural com base no tamanho do conjunto de treinamento, por exemplo, a partir de (1):

insira a descrição da imagem aqui

Franck Dernoncourt
fonte