Estou lendo sobre técnicas de computação de reservatórios como Echo State Networks e Liquid State Machines . Ambos os métodos envolvem alimentar entradas para uma população de neurônios spikes conectados aleatoriamente (ou não) e um algoritmo de leitura relativamente simples que produz a saída (por exemplo, regressão linear). Os pesos da população de neurônios são fixos ou treinados através de uma regra de atividade local semelhante ao Hebbian como STDP .
Essas técnicas têm bom desempenho ao modelar entradas multidimensionais que possuem componentes temporais significativos. No entanto, calcular os potenciais de pico da membrana dos neurônios envolve integração de equações diferenciais e pode ser computacionalmente caro.
Existem exemplos de onde a complexidade computacional adicional das técnicas de computação de reservatório é superada pelos ganhos em uma tarefa de previsão ou classificação?
Por exemplo, existem casos de técnicas de SNN superando arquiteturas comparativamente complexas com base em RNNs, ANNs, SVMs, DNNs, CNNs ou outros algoritmos?
Respostas:
Minha resposta vem da experiência mais do que de experimentos ou referências publicadas.
Até onde eu sei, a Spiking Neural Networks não supera outros algoritmos em nenhuma tarefa. Houve avanços na robótica e na computação de reservatório, mas os algoritmos de computação de reservatório são tão bons quanto outros algoritmos (como o aprendizado por reforço), de acordo com publicações recentes. Existem rumores de que algumas empresas estão interessadas nesses algoritmos porque contrataram recentemente alguns pesquisadores de computação em reservatórios, mas esses são apenas rumores.
Aqui está uma das publicações mais recentes que detalham os avanços e as limitações da computação de reservatórios em robótica https://www.cs.unm.edu/~afaust/MLPC15_proceedings/MLPC15_paper_Polydoros.pdf
Comecei a experimentar a Liquid State Machines na faculdade usando a arquitetura proposta por Wolfgang Maass. Parecia promissor, especialmente a idéia de neurônios inibitórios fazendo parte do circuito. Mas, na realidade, o uso desses algoritmos em aplicativos de dados da vida real (classificação de linguagem, classificação de imagens entre outros) não foi suficiente para se aproximar de parâmetros como RNNs, ANNs, SVMs. Às vezes, até as redes neurais multicamadas de baunilha têm melhor desempenho do que as máquinas de estado líquido. Meu entendimento é que esse tipo de modelo é bom para robótica e outras tarefas relacionadas autônomas, como sensores e navegação autônoma (mas essa não era minha área de pesquisa), mas não tanto para outros tipos de dados. Existem alguns laboratórios, principalmente na Europa, trabalhando com esse algoritmo, mas até agora não ouvi muitos avanços nessa área nos últimos anos.
Acredito que algoritmos inspirados no cérebro são o próximo grande passo na IA, e enquanto muitas empresas como Numenta e Deepmind estão pesquisando nessa direção, hoje em dia ainda há muito trabalho a ser feito para obter a próxima inovação em IA. AI.
fonte