Quais são as críticas em relação ao desempenho do HTM?

Recentemente, eu aprendi sobre a existência dessa memória temporal hierárquica (HTM) . Eu já li o documento Memória Temporal Hierárquica: Conceitos, Teoria e Terminologia (de Jeff Hawkins e Dileep George), que parece bastante fácil de entender, mas uma bandeira vermelha é que o documento não é revisado por pares nem tenta explicar por que deveria trabalhar em detalhes.

Tentei procurar algumas fontes independentes. Encontrei alguns trabalhos que comparam seu desempenho com outros, mas nenhum explica por que ele tem um bom desempenho (ou não). Percebi alguns comentários alegando que ele era menosprezado por especialistas comuns, mas não consegui encontrar nenhuma crítica real.

Quais são as críticas em relação ao desempenho do HTM? Como o HTM deve ser genérico, qualquer crítica específica ao domínio deve estar relacionada a um problema mais fundamental.

Além disso, há uma enorme quantidade de dados de treinamento para usar, o suficiente para vários meses de sessão de treinamento. Basicamente, qualquer crítica a respeito do tamanho ou duração do treinamento não é relevante.

As críticas contra Jeff Hawkins estão bem resumidas no seguinte ensaio, extraído de http://www.theregister.co.uk/2014/03/29/hawkins_ai_feature/

Eu próprio acredito que a teoria HTM tem um enorme potencial e será a base da verdadeira inteligência da máquina. A IBM anunciou recentemente o backup da teoria HTM e iniciou o Cortical Learning Center, incluindo algumas centenas de membros.

http://www.technologyreview.com/news/536326/ibm-tests-mobile-computing-pioneers-controversial-brain-algorithms/

Como é apontado no ensaio, Dillep George, co-fundador da Numenta, criou a startup Vicarious, que atraiu uma enorme quantidade de fundos, fato que sugere um potencial da teoria HTM.

Fonte: Críticas contra Jeff Hawkins , The Register

Sua abordagem confiante em relação à mídia parece ter despertado algum mal-estar entre outros acadêmicos que apontam, corretamente, que Hawkins não publicou amplamente, nem inventou muitas idéias por conta própria.

Numenta também teve problemas, em parte devido à visão idiossincrática de Hawkins sobre como o cérebro funciona.

Em 2010, por exemplo, o co-fundador da Numenta, Dileep George, partiu para fundar sua própria empresa, a Vicarious, para colher algumas das frutas mais comuns no promissor campo da IA. Pelo que entendemos, essa separação amigável surgiu de uma diferença de opinião entre George e Hawkins, já que George tendia a uma abordagem mais matemática, e Hawkins a uma abordagem mais biológica.

Hawkins também se interessou um pouco pela intelligentsia, com o professor de psicologia da NYU Gary Marcus descartando a abordagem de Numenta em um artigo da New Yorker intitulado Steamrolled by Big Data.

Outros acadêmicos que El Reg entrevistou para este artigo não quiseram ser citados, pois sentiram que a falta de documentos revisados ​​por Hawkins combinados com sua personalidade empreendedora reduzia a credibilidade de toda a sua abordagem.

Hawkins ignora essas críticas e acredita que elas se resumem a uma diferença de opinião entre ele e a AI da intelligentsia.

"Estes são sistemas biológicos complexos que não foram projetados por princípios matemáticos [que são] muito difíceis de formalizar completamente", ele nos disse.

Eu estudo HTM há um tempo. É meio legal. O comportamento padrão de um HTM é analisar dados temporais. Por outro lado, atualmente, você precisa de uma rede neural "sofisticada" (por exemplo, uma rede neural recorrente) para modelar um problema de sequência a sequência (por exemplo, um chatbot). Mas o HTM pode ser aplicado naturalmente a esse tipo de problema!

Estou planejando criar algum tipo de TV interativa com ele, com os dados de controle enviados com os dados visuais e depois restringi-los aos dados de controle (isso é possível, mas não espere que de repente ele sonhe com um novo vídeo, isso não acontece). Mas, devo dizer, o mais legal é que o vídeo com o qual você ensina não será reproduzido, mas mostrará a versão mais típica, que é a sua forma de entender e realmente torná-lo realmente real. legal. Então esse é o tipo de sonho que você realiza.

Se você estiver usando HTM com texto,

1. armazena cartas,
2. então produz sílabas.
3. então pega essas sílabas e produz comunhão a partir delas,
4. então forma palavras a partir das sílabas comuns,
5. então pega essas palavras e determina o que elas têm em comum,
6. então forma palavras possivelmente maiores,
7. então forma grupos de palavras,
8. então forma grupos de frases

Assim, cada vez que sobe de nível, "esquece" um pouco mais, talvez para envolver os grupos com mais firmeza. Esses grupos mais intimamente arraigados reproduzirão um pouco diferente do que o registro sendo reproduzido nele. E essa reprodução não foi vista por muitas pessoas.

Eu me pergunto se ele cria suas próprias frases completamente.

Faz a frase crescer um pouco mais devagar, muito melhor. É um trabalho muito mais difícil do que não esquecer nada e simplesmente ter uma reprodução plana do registro. Eu diria que quanto mais lenta sua frase aumentar, melhor você a executou; portanto, se houver mais alguma maneira de encontrar a tipicidade, você deve fazê-lo.