Adaptação da rede neural

Em algumas ocasiões, treinei redes neurais (redes de propagação traseira) com alguns conjuntos de dados bastante complicados (posições de gamão e OCR). Ao fazer isso, parece que muito do trabalho envolve a tentativa de configurações diferentes das redes, a fim de encontrar a configuração ideal para o aprendizado. Freqüentemente, há um compromisso entre redes pequenas que são mais rápidas de usar / aprender e redes maiores, capazes de representar mais conhecimento.

Então eu me pergunto se seria possível criar algumas redes que são rápidas e grandes. Penso que na rede em que todos os neurônios não estão totalmente conectados, deve ser mais rápido calcular do que as redes com conexão completa em todas as camadas. Poderia ser o treinamento que detectou que certas entradas não são necessárias por certos neurônios e, portanto, remove essas conexões. Da mesma forma, o treinamento também pode envolver a adição de novos neurônios se alguns neurônios parecerem "sobrecarregados".

Isso é algo que foi experimentado com algum sucesso? Existe alguma classe de rede com esse tipo de comportamento?

Esse é um problema praticamente aberto, sujeito a pesquisas em andamento com várias estratégias e heurísticas conhecidas. Uma palavra-chave é " arquitetura de rede neural ". A estratégia mais básica é iterar através de várias topologias de rede e treinar novamente para cada uma. Outra estratégia é começar com uma rede relativamente maior e remover conexões que têm baixo peso e são recicladas e procuram melhorias; anos atrás, isso foi chamado de "dano cerebral" em pelo menos um artigo [2]. Aqui estão alguns exemplos de referências. Existem muitos outros. Existe também a possibilidade de usar algoritmos do tipo GA para determinar a estrutura da rede [3]. Aqui está parte do resumo de [1]:

O uso de RNAs requer algumas decisões críticas por parte do usuário, que podem afetar a precisão da classificação resultante. Neste estudo, a determinação da estrutura ótima de rede, que é um dos atributos mais importantes de uma rede, é investigada. A estrutura da rede afeta diretamente o tempo de treinamento e a precisão da classificação. Embora exista alguma discussão na literatura sobre o impacto da estrutura da rede no desempenho da rede, não existe um método ou abordagem específica para determinar a melhor estrutura. Investigações sobre a relação entre a estrutura da rede e a precisão da classificação são relatadas aqui, usando um kit de ferramentas MATLAB para tirar vantagem da visualização científica.

[1] Determinando a estrutura ideal para redes neurais artificiais por Taskin Kavzoglu

[2] Dano cerebral ideal Le Cun, Denker, Solla

[3] Encontrando uma arquitetura de rede neural ideal usando algoritmos genéticos Britos et al.