O que podemos aprender sobre o cérebro humano a partir de redes neurais artificiais?

Sei que minha pergunta / título não é muito específico, tentarei esclarecê-la:

As redes neurais artificiais têm projetos relativamente rígidos. É claro que, geralmente, eles são influenciados pela biologia e tentam construir um modelo matemático de redes neurais reais, mas nosso entendimento das redes neurais reais é insuficiente para a construção de modelos exatos. Portanto, não podemos conceber modelos exatos ou qualquer coisa que chegue "perto" de redes neurais reais.

Até onde eu sei, todas as redes neurais artificiais estão longe das redes neurais reais. MLPs clássicos clássicos e totalmente conectados não estão presentes na biologia. As redes neurais recorrentes têm uma falta de neuroplasticidade real, cada neurônio de um RNN tem a mesma "arquitetura de feedback", enquanto os neurônios reais salvam e compartilham suas informações individualmente. As redes neurais convolucionais são eficazes e populares, mas (por exemplo) o processamento de imagens no cérebro humano consiste em apenas algumas camadas de convolução, enquanto as soluções modernas (como GoogLeNet) já usam dezenas de camadas ... e, embora estejam produzindo ótimos resultados para computadores , eles não estão nem perto do desempenho humano. Especialmente quando pensamos em um "desempenho por camada", pois precisamos de uma quantidade bastante alta de camadas e redução de dados em comparação com as redes neurais reais.

Além disso, até onde eu sei, mesmo as redes neurais artificiais modulares, auto-ampliáveis ​​/ auto-reestruturantes são bastante "fixas e estáticas" em comparação com a enorme adaptabilidade das redes neurais reais. O neurônio biológico normalmente possui milhares de dendritos conectando o neurônio a uma enorme variedade de áreas diferentes e outros neurônios. As redes neurais artificiais são muito mais "diretas".

Então, há algo que possamos aprender sobre o cérebro humano / redes neurais reais a partir de redes neurais artificiais? Ou é apenas uma tentativa de criar um software que tenha um desempenho melhor que os algoritmos estáticos clássicos (ou até faça coisas em que esses algoritmos falham)?

Alguém pode fornecer fontes (preferencialmente científicas) sobre esse tópico?

EDIT: Mais respostas são muito apreciadas (:

Como você mencionou, a maioria das redes neurais é baseada em abstrações simples gerais do cérebro. Eles não apenas carecem de imitar características como plasticidade, mas também não levam em consideração os sinais e o tempo como os neurônios reais.

Há uma entrevista bastante recente, que me pareceu apropriada para sua pergunta específica, o Maestro de Aprendizado de Máquina Michael Jordan sobre os delírios de big data e outros grandes esforços de engenharia , e cito:

Mas é verdade que, com a neurociência, serão necessárias décadas ou mesmo centenas de anos para entender os princípios profundos. Há progresso nos níveis mais baixos da neurociência. Mas, para questões de cognição superior - como percebemos, como lembramos, como agimos - não temos idéia de como os neurônios estão armazenando informações, como estão computando, quais são as regras, quais são os algoritmos, quais são as representações e o gosto. Portanto, ainda não estamos em uma era na qual podemos usar o entendimento do cérebro para nos guiar na construção de sistemas inteligentes.

Até agora, não se sabe muito - talvez nada - sobre o funcionamento do cérebro a partir de redes neurais artificiais. [Esclarecimento: escrevi esta resposta pensando em redes neurais usadas no aprendizado de máquina; @MattKrause (+1) está certo de que os modelos de redes neurais de alguns fenômenos neurais biológicos podem ter sido úteis em muitos casos.] No entanto, isso talvez seja parcialmente devido ao fato de que a pesquisa de redes neurais artificiais no aprendizado de máquina foi mais ou menos estagnação até por volta de 2006, quando Geoffrey Hinton reacendeu quase todo o campo, que agora atrai bilhões de dólares.

Em uma palestra de 2012 no Google chamada Brains, Sex e Machine Learning (das 45:30), Hinton sugeriu que as redes neurais artificiais podem fornecer uma dica sobre por que [a maioria] dos neurônios se comunica com picos e não com sinais analógicos. Nomeadamente, ele sugere ver os picos como uma estratégia de regularização semelhante ao abandono. O abandono é uma maneira desenvolvida recentemente de impedir o ajuste excessivo, quando apenas um subconjunto de pesos é atualizado em uma determinada etapa de descida de gradiente (consulte Srivastava et al. 2014 ). Aparentemente, ele pode funcionar muito bem, e Hinton acha que talvez os picos (ou seja, a maioria dos neurônios em silêncio em um dado momento) sirvam a um objetivo semelhante.

Eu trabalho em um instituto de pesquisa em neurociência e não conheço ninguém aqui que esteja convencido pelo argumento de Hinton. O júri ainda está de fora (e provavelmente vai sair por algum tempo), mas pelo menos este é um exemplo de algo que as redes neurais artificiais poderiam potencialmente nos ensinar sobre o funcionamento do cérebro.

Certamente não é verdade que o cérebro humano use apenas "algumas" camadas convolucionais. Cerca de 1/3 do cérebro dos primatas está de alguma forma envolvido no processamento de informações visuais. Este diagrama, de Felleman e Van Essen, é um esboço de como a informação visual flui através do cérebro do macaco, começando nos olhos (RGC na parte inferior) e terminando no hipocampo, uma área de memória.

Cada uma dessas caixas é uma área definida anatomicamente (mais ou menos), que contém várias etapas de processamento (camadas reais, na maioria dos casos). O diagrama em si tem 25 anos e, se for o caso, aprendemos que existem mais algumas caixas e muito mais linhas.

Ele é verdade que uma grande parte do trabalho de aprendizado profundo é mais "vagamente inspirado em" o cérebro do que baseado em alguma verdade neural subjacente. O "aprendizado profundo" também tem a vantagem de parecer muito mais sexy do que a "regressão logística iterada".

No entanto, modelos matemáticos de redes neurais também contribuíram muito para a nossa compreensão do cérebro. Em um extremo, alguns modelos tentam imitar a biologia e a biofísica conhecidas com precisão. Isso geralmente inclui termos para íons individuais e seu fluxo. Alguns até usam reconstruções em 3D de neurônios reais para restringir sua forma. Se isso lhe interessa, o ModelDB possui uma grande coleção de modelos e as publicações associadas. Muitos são implementados usando o software NEURON, disponível gratuitamente .

Existem modelos de larga escala que tentam imitar certos efeitos comportamentais ou neurofisiológicos, sem se preocupar muito com a biofísica subjacente. Modelos Connectionist ou Parallel-Distributed-Processing, que eram particularmente populares no final das décadas de 1980 e 1990 e usavam modelos semelhantes aos encontrados em um aplicativo de aprendizado de máquina atual (por exemplo, sem biofísica, funções simples de ativação e conectividade estereotipada) para explicar vários processos psicológicos. Isso ficou um pouco fora de moda, embora se pergunte se eles podem voltar agora que temos computadores mais poderosos e melhores estratégias de treinamento. (Veja a edição abaixo!)

Finalmente, há muito trabalho em algum lugar no meio que inclui alguma "fenomenologia", além de alguns detalhes biológicos (por exemplo, um termo explicitamente inibitório com certas propriedades, mas sem ajustar a distribuição exata dos canais de cloreto). Muitos trabalhos atuais se encaixam nessa categoria, por exemplo, o trabalho de Xiao Jing Wang (e muitos outros ....)

EDIT : Desde que escrevi isso, houve uma explosão de trabalho comparando o sistema visual (real) a redes neurais profundas treinadas em tarefas de reconhecimento de objetos. Existem algumas semelhanças surpreendentes. Os núcleos nas primeiras camadas de uma rede neural são muito semelhantes aos núcleos / campos receptivos no córtex visual primário e as camadas subsequentes se assemelham aos campos receptivos em áreas visuais mais altas (veja o trabalho de Nikolaus Kriegeskorte, por exemplo ). A reciclagem de redes neurais pode causar mudanças semelhantes ao treinamento comportamental extensivo (Wenliang e Seitz, 2018) . DNNs e humanos às vezes mas nem sempre - também cometem padrões semelhantes de erros.

No momento, ainda não está claro se isso reflete a similaridade entre redes neurais reais e artificiais em geral, algo sobre imagens especificamente [*] ou a tendência de redes neurais de todas as faixas encontrarem padrões, mesmo quando não estão lá. No entanto, comparar os dois se tornou uma área de pesquisa cada vez mais quente e parece provável que aprenderemos algo com isso.

* Por exemplo, a representação usada no sistema visual inicial / primeiras camadas de uma CNN é uma base esparsa ideal para imagens naturais.

O que realmente aprendemos é o uso de ativação esparsa e o uso de funções de ativação retificada linear. A última é basicamente uma das razões pelas quais vimos uma explosão de atividade em relação à chamada rede neural, pois o uso desse tipo de função de ativação resultou em uma dramática redução do treinamento que as redes computacionais artificiais que usamos para chamar redes neurais.

O que aprendemos é por que sinapse e neurônios são construídos dessa maneira e por que é preferível. Essa ativação retificada linear (f (x): = x> a? X: 0) resulta em ativação esparsa (apenas alguns dos 'neurônios' (pesos)) são ativados.

Então, o que fazemos enquanto nosso conhecimento se estende às funções biológicas, entendemos por que isso foi selecionado e preferido pela evolução. Entendemos que esses sistemas são suficientes o suficiente, mas também estáveis ​​em termos de controle de erros durante o treinamento e também preservam recursos como energia e recursos químicos / biológicos no cérebro.

Nós simplesmente entendemos por que o cérebro é o que é. Também treinando e analisando as estratégias que entendemos sobre possíveis fluxos de informações e o processamento de informações envolvidas, ajudando-nos a construir e avaliar hipóteses sobre os próprios assuntos.

Por exemplo, algo que me lembro de uma década atrás estava treinando um sistema para aprender a linguagem falada natural e a descoberta feita foi que o sistema mostrava problemas semelhantes que remontam o comportamento analógico de bebês aprendendo a falar uma língua. Até as diferenças entre aprender diferentes tipos de idiomas eram bastante semelhantes.

Portanto, ao estudar essa abordagem e design, concluiu-se que o processamento de informações humanas durante o aprendizado de idiomas é semelhante o suficiente para elaborar recomendações de treinamento e tratamento para problemas relacionados ao idioma, que ajudou a ajudar e entender as dificuldades humanas e a desenvolver um tratamento mais eficiente realmente fez na prática é outra questão).

Há um mês, li um artigo sobre como a navegação em 3D e a memória dos cérebros de ratos realmente funcionam e, ao criar modelos computacionais sobre todas as descobertas, foi uma grande ajuda para entender o que realmente está acontecendo. Assim, o modelo artificial preencheu os espaços em branco do que foi observado no sistema biológico.

Realmente me surpreendeu quando soube que os cientistas neurológicos usavam uma linguagem que reunia mais a de um engenheiro do que uma pessoa biológica falando sobre circuitos, fluxo de informações e unidades de processamento lógico.

Então, estamos aprendendo muito com as redes neurais artificiais, pois elas nos apresentam campos de jogo empíricos nos quais podemos derivar regras e segurança quando se trata do porquê a arquitetura do cérebro é o que é e também porque a evolução prefere isso a outras formas alternativas.

Ainda há muitos espaços em branco, mas pelo que li - entrei recentemente na CNN, etc., mas tinha IA artificial, lógica nebulosa e redes neurais durante o período universitário no início dos anos 2000.

Então, eu desenvolvi uma década de desenvolvimento e descoberta, resultando em gratidão a todos os cientistas e profissionais da rede neural e do campo da IA. Pessoas bem feitas, muito bem feitas!