Por que as redes neurais profundas e o aprendizado profundo são insuficientes para alcançar a inteligência geral?

11

Tudo relacionado às redes Deep Learning (DL) e deep (er) parece "bem-sucedido", pelo menos progredindo muito rápido e cultivando a crença de que a AGI está ao alcance. Isso é imaginação popular. O DL é uma ferramenta tremenda para enfrentar tantos problemas, incluindo a criação de AGIs. Não é suficiente, no entanto. Uma ferramenta é um ingrediente necessário, mas muitas vezes insuficiente.

As principais figuras do domínio estão procurando outro lugar para fazer progressos. Este relatório / reivindicação reúne links para declarações de Yoshua Bengio , Yann LeCun e Geoff Hinton . O relatório também explica:

As principais fraquezas da DL (como eu as vejo) são: dependência dos neurônios modelo mais simples possíveis ("caricaturais" como LeCun os chama); uso de idéias da Mecânica Estatística e Estatística do século XIX, que são a base das funções energéticas e dos métodos de probabilidade de log; e a combinação delas em técnicas como descida do gradiente backprop e estocástico, levando a um regime de aplicação muito limitado (aprendizado offline, principalmente em lotes, supervisionado), exigindo que profissionais altamente talentosos (também conhecidos como "descendentes estocásticos de pós-graduação"), grandes quantias caras dados de treinamento rotulados e poder computacional. Embora seja excelente para grandes empresas que podem atrair ou comprar talentos e implantar recursos ilimitados para coletar e processar dados, o DL simplesmente não é acessível nem útil para a maioria de nós.

Embora interessante e relevante, esse tipo de explicação não aborda realmente a essência do problema: o que está faltando?

A pergunta parece ampla, mas pode ser por falta de uma resposta simples. Existe uma maneira de identificar o que falta ao DL para um AGI?

Eric Platon
fonte

Respostas:

7

Todo mundo que lida com redes neurais perde um ponto importante ao comparar sistemas com inteligência humana. Um humano leva muitos meses para fazer qualquer coisa inteligível, e muito menos ser capaz de resolver problemas onde humanos adultos mal conseguem gerenciar. Isso e o tamanho do cérebro humano são enormes se comparados às nossas redes neurais. A direção pode estar certa, mas a escala está muito errada. O número de neurônios no cérebro humano pode ser correspondido em termos de memória, mas a quantidade de paralelismo para simulá-lo em tempo real ainda não pode ser alcançada (pelo menos para um pesquisador aleatório). Embora um pouco antigo, isso pode lhe dar uma idéia do quanto não temos o poder de processamento.

Cem Kalyoncu
fonte
Obrigado por esta resposta concisa. Você está dizendo que apenas o tamanho importa para atingir uma AGI e acima, apenas com as tecnologias DL? O tamanho importa, mas provavelmente algo está faltando ainda. (Qualquer trocadilho neste parágrafo é totalmente intencional).
Eric Platon
1
Por exemplo, vamos considerar os autômatos celulares no Wolfram. Muito simples, mas levando a uma complexidade surpreendente.
Eric Platon
A computação quântica, qualquer que seja a forma final, pode ser uma das soluções propostas para esse problema de processamento?
DukeZhou
O processamento quântico pode ser usado para chegar a uma decisão em um ponto, mas não pode ser usado para simular o fluxo contínuo, como no cérebro humano. Uma vez observado o sistema, a forma de onda quântica entra em colapso, reduzindo-a essencialmente a um sistema seqüencial lento.
Cem Kalyoncu
1
@CemKalyoncu Indeed. Mas um elefante tem quase três vezes mais que os humanos . O argumento do tamanho importa, com certeza, mas o tamanho por si só não parece suficiente.
Eric Platon
6

O aprendizado profundo é mais bem-sucedido no aprendizado supervisionado, enquanto o cérebro constrói categorias principalmente de maneira não supervisionada. Ainda não sabemos como fazer isso. (Dê uma olhada no google brain : 16.000 núcleos e tudo o que isso pode fazer é reconhecer gatos e rostos humanos com uma precisão bastante abismal.)

O Deep Learning usa ativações altamente não estruturadas, ou seja, as representações de alto nível de "cachorro" e "gato" em um classificador de rede neural não precisam ser semelhantes. O cérebro, por outro lado, usa neurônios inibitórios para criar representações distribuídas esparsas que são decompostas em seus aspectos semânticos. Provavelmente isso é importante para abstração e raciocínio por analogia.

O cérebro tem muitas partes diferentes que trabalham juntas. Os pesquisadores do Deep Learning estão apenas começando a integrar mecanismos de memória ou atenção em sua arquitetura.

O cérebro integra informações de muitos sentidos diferentes. A maioria dos aplicativos de Deep Learning usa apenas um tipo de entrada, como texto ou figuras.

O cérebro é capaz de modelar sequências como categorias. (Basicamente, todo verbo nomeia uma categoria seqüencial (isto é, temporal).) Em seguida, pode organizar essas categorias em planos hierárquicos de longo prazo. Até agora, não vi nada nessa direção no Deep Learning.

As redes neurais ainda não podem operar na mesma escala que o cérebro humano. Se você olhar as respostas para essa pergunta , o cérebro humano estará à frente na contagem de neurônios por mais algumas décadas. Uma rede neural pode não precisar do mesmo número de neurônios que o cérebro para atingir um desempenho semelhante (devido à maior precisão), mas agora, por exemplo, o processamento de vídeo ainda é bastante limitado em termos de entrada e rendimento.

BlindKungFuMaster
fonte
Pontos interessantes aqui também, obrigado. Minha preocupação aqui é que ele está contrastando processo (aprendizado profundo) e estrutura (da rede ou do cérebro). Se essa tendência estiver correta, a AGI é apenas uma questão de tempo, com base no que temos. Você menciona questões semânticas em redes profundas, provavelmente melhor visualizadas em modelos contraditórios. Isso indica que algo está faltando e é um dos melhores argumentos nesta resposta. Eu entendo que as estruturas atuais são insuficientes (ou seja, modelos de memória antiga). Isso está indiretamente abordando a questão do "porquê". Você vê maneiras de refinar sua resposta?
Eric Platon
As recentes abordagens "apenas ópticas" para jogos de ML são uma tentativa de se libertar do aprendizado supervisionado?
DukeZhou
@DukeZhou: Eu acho que as técnicas de RL podem ter um papel no aprendizado não supervisionado, mas agora me parece que o RL ainda não está aprendendo conceitos de alto nível.
BlindKungFuMaster
1
@ EricPlaton: Não sei se entendi o seu comentário. O que acho que falta é 1. estrutura e 2. escala. E, claro, algoritmos, mas esses estão interligados com a estrutura.
BlindKungFuMaster 17/02
3

IMHO, o primeiro obstáculo é a escala : mesmo o maior DNN do Google não chega nem perto da escala do cérebro, e por um fator de várias ordens de magnitude ...

Frank
fonte
2

Acho que ainda faltam os aspectos que compõem o cérebro humano; tendo muitas redes diferentes trabalhando umas com as outras.

Assim como a meditação melhora as habilidades cognitivas, fazendo o cérebro funcionar de maneira mais sinérgica, também podemos aplicar isso às máquinas.

Por exemplo, o google está aprendendo um computador a sonhar, como nós, para reforçar o que já aprendemos. https://medium.com/@tannistho/why-is-google-teaching-its-ai-to-dream-e9ae9ecd0e3a#.gljal6pww

E aqui está o pathnet, uma rede de rede neural. https://medium.com/@thoszymkowiak/deepmind-just-published-a-mind-blowing-paper-pathnet-f72b1ed38d46#.ed0f6pdq7

Criando todas essas mecânicas e juntando-as, com energia suficiente e chegaremos bem perto!

Alexander
fonte
Você poderia esclarecer o que é? Poderia ser o processo de aprendizado profundo ou redes igualmente profundas. Estes são diferentes.
Eric Platon
1
Ambos, mas principalmente tendo redes neurais profundas, trabalham juntos, especulo que o DNN também deve ter boas características de plasticidade neural. Mas isso é algo em que só podemos abordar o básico, nem sabemos exatamente como um cérebro humano funciona. #
Alexander
1

Os proponentes da inteligência artificial hoje estão focados no problema da computabilidade - a capacidade de resolver rapidamente problemas complexos. É minha convicção que qualquer quantidade de sucesso nessa direção não levará à inteligência humana (geral), embora certamente supere os humanos em certos domínios. Em vez disso, os esforços devem ser direcionados ao estudo de quais eventos neurológicos causam sensação (a experiência dos qualia). Obviamente, esse é o difícil problema da filosofia, mas acredito que é a chave exclusiva da inteligência geral e de suas capacidades. A engenharia reversa e também as teorias testáveis ​​devem ser avançadas nesse sentido.

user415738
fonte
1
A Quaila pode ser uma característica interessante para as máquinas (especialmente se queremos que as pessoas concedam direitos a essas máquinas), mas, além de a Quaila ser um problema muito difícil em filosofia, há duas questões principais em jogo. (A) a inteligência em si pode não exigir quaila, você pode ser inteligente sem poder ter experiências subjetivas em primeira pessoa ... ou seja, o zumbi filosófico.
Esquerda SE Em 10_6_19 20/02
(B) O setor se preocupa apenas com a solução rápida de problemas complexos e não se preocupa realmente se a máquina rápida pode pensar ou sentir. A AGI é desejada apenas na medida em que possa resolver rapidamente problemas complexos ... a inteligência é apenas um meio para atingir um fim. (Na verdade, a indústria não pode querer uma máquina de pensar e de sentir, como tais máquinas podem merecer direitos ... e os direitos são um bocado como os regulamentos, limitando o que uma empresa pode fazer com sua ferramenta.)
Esquerda SE Em 10_6_19