Uma limitação dos algoritmos de rede neural padrão (como backprop) é que você precisa tomar uma decisão de design de quantas camadas ocultas e neurônios por camada deseja. Geralmente, a taxa de aprendizagem e a generalização são altamente sensíveis a essas opções. Esta foi a razão pela qual algoritmos de redes neurais como correlação em cascata têm gerado interesse. Começa com uma topologia mínima (apenas unidades de entrada e saída) e recruta novas unidades ocultas à medida que o aprendizado avança.
O algoritmo CC-NN foi introduzido por Fahlman em 1990 e a versão recorrente em 1991. Quais são alguns dos algoritmos de rede neural mais recentes (após 1992) que começam com uma topologia mínima?
Perguntas relacionadas
CogSci.SE: Redes neurais com relatos biologicamente plausíveis de neurogênese
fonte
Respostas:
A questão implícita aqui é como você pode determinar a topologia / estrutura de uma rede neural ou modelo de aprendizado de máquina, de modo que o modelo seja "do tamanho certo" e não se ajuste demais ou não.
Desde a correlação em cascata, em 1990, já existem vários métodos para fazer isso agora, muitos deles com propriedades estatísticas ou computacionais muito melhores:
fonte
Que tal o NeuroEvolution of Augmenting Topologies (NEAT) http://www.cs.ucf.edu/~kstanley/neat.html
Parece funcionar para problemas simples, mas é incrivelmente lento para convergir.
fonte
Pelo que entendi hoje, o que há de mais moderno é "Aprendizado não supervisionado de recursos e aprendizado profundo". em poucas palavras: a rede está sendo treinada de maneira não supervisionada, cada camada por vez:
fonte
Já houve uma menção ao NEAT (Evolução Neural com Topologias Aumentadas). Há avanços nisso, incluindo especiação e HyperNEAT. O HyperNEAT usa uma rede 'meta' para otimizar o peso de um fenótipo totalmente conectado. Isso fornece uma 'consciência espacial' da rede, que é inestimável no reconhecimento de imagens e em problemas do tipo jogo de tabuleiro. Você também não está limitado ao 2D. Eu estou usando em 1D para análise de sinal e 2D para cima é possível, mas fica pesado no requisito de processamento. Procure documentos de Ken Stanley e há um grupo no Yahoo. Se você tiver um problema tratável com uma rede, então pode ser aplicável o NEAT e / ou o HyperNEAT.
fonte
Há um artigo um pouco recente sobre esse tópico: RP Adams, H. Wallach e Zoubin Ghahramani. Aprendendo a estrutura de modelos gráficos esparsos profundos. Isso está um pouco fora da comunidade de rede neural usual e mais do lado do aprendizado de máquina. O artigo utiliza inferência bayesiana não paramétrica na estrutura da rede.
fonte