Geometria e IA

Matrizes, cubos, camadas, pilhas e hierarquias são o que poderíamos chamar com precisão de topologias . Considere a topologia, neste contexto, o projeto geométrico de nível superior de um sistema de aprendizagem.

À medida que a complexidade aumenta, geralmente é útil representar essas topologias como estruturas de gráfico direcionadas. Os diagramas de estado e o trabalho de Markov sobre a teoria dos jogos são dois lugares onde gráficos direcionados são comumente usados. Os gráficos direcionados têm vértices (geralmente visualizados como formas fechadas) e arestas frequentemente visualizados como setas conectando as formas.

Também podemos representar os GANs como um gráfico direcionado, onde a saída de cada rede impulsiona o treinamento da outra de maneira adversa. Os GANs se parecem com uma faixa de Möbius topologicamente.

Não podemos descobrir novos projetos e arquiteturas sem entender não apenas a matemática de convergir para uma solução ideal ou rastrear uma, mas também topologias de conexões de rede que podem suportar essa convergência. É como primeiro desenvolver um processador enquanto imagina o que um sistema operacional precisaria antes de escrever o sistema operacional.

Para vislumbrar quais topologias ainda NÃO consideramos, vamos primeiro ver quais foram.

Etapa 1 - Extrusão em uma segunda dimensão

Nos anos 80, o sucesso foi alcançado com a extensão do projeto perceptron original. Os pesquisadores adicionaram uma segunda dimensão para criar uma rede neural de várias camadas. A convergência razoável foi alcançada através da propagação retroativa do gradiente de uma função de erro através dos gradientes das funções de ativação atenuadas pelas taxas de aprendizado e atenuadas com outros meta-parâmetros.

Etapa 2 - Adicionando dimensões ao sinal de entrada discreta

Vemos o surgimento de redes convolucionais com base nas técnicas de convolução de imagem ajustadas manualmente existentes, introduzindo dimensões na entrada da rede: posição vertical, componentes de cores e quadro. Essa última dimensão é crítica para CGI, substituição de faces e outras técnicas morfológicas na produção cinematográfica contemporânea. Sem ele, temos geração de imagens, categorização e remoção de ruído.

Etapa três - pilhas de redes

Vimos pilhas de redes neurais surgirem no final dos anos 90, onde o treinamento de uma rede é supervisionado por outra. Esta é a introdução de camadas conceituais, nem no sentido de camadas seqüenciais de neurônios nem no sentido de camadas de cor em uma imagem. Esse tipo de camada também não é recursiva. É mais como o mundo natural, onde uma estrutura é um órgão dentro de outro tipo completamente diferente de estrutura.

Etapa quatro - hierarquias de redes

Vemos hierarquias de redes neurais aparecendo com frequência na pesquisa que surgiu nos anos 2000 e início de 2010 (Laplaciano e outros), que continua a interação entre as redes neurais e continua a analogia do cérebro dos mamíferos. Agora vemos a meta-estrutura, onde redes inteiras se tornam vértices em um gráfico direcionado que representa uma topologia.

Etapa 5% mdash; Partidas da orientação cartesiana

Arranjos de repetição sistemática não cartesiana de células e conexões entre elas começaram a surgir na literatura. Por exemplo, Redes Convolucionais Equivalentes de Gauge e a CNN Icosaédrica (Taco S. Cohen, Maurice Weiler, Berkay Kicanaoglu, Max Welling, 2019) examina o uso de um arranjo baseado em um icosaedro regular convexo.

Resumindo

Camadas têm funções de ativação com valor ordinário para vértices e matrizes de atenuação mapeadas para um conjunto exaustivo de arestas direcionadas entre camadas adjacentes [1]. As camadas de convolução de imagem geralmente estão em arranjos bidimensionais de vértices com cubos de atenuação mapeados para um conjunto abreviado de arestas direcionadas entre as camadas adjacentes [2]. As pilhas possuem redes em camadas inteiras como vértices em um gráfico meta-direcionado, e esses meta-vértices são conectados em uma sequência, sendo que cada aresta é um meta-parâmetro de treinamento, um sinal de reforço (feedback em tempo real) ou algum outro controle de aprendizado . As hierarquias de redes refletem a noção de que vários controles podem ser agregados e direcionar o aprendizado de nível inferior, ou o caso inverso em que vários elementos de aprendizado podem ser controlados por uma rede de supervisores de nível superior.

Análise da Tendência em Topologias de Aprendizagem

Podemos analisar tendências na arquitetura de aprendizado de máquina. Temos três tendências topológicas.

• Profundidade na dimensão de causalidade - Camadas para o processamento do sinal em que a saída de uma camada de ativações é alimentada através de uma matriz de parâmetros atenuantes (pesos) para a entrada da próxima camada. À medida que controles maiores são estabelecidos, apenas começando com a descida básica do gradiente na propatagão das costas, maior profundidade pode ser alcançada.

• Dimensionalidade do sinal de entrada - da entrada escalar aos hipercubos (o vídeo possui horizontal, vertical, profundidade de cor incluindo transparência e quadro - Observe que este não é o mesmo que o número de entradas no sentido do perceptron.

• Desenvolvimento topológico - Os dois acima são de natureza cartesiana. As dimensões são adicionadas perpendicularmente à dimensão existente. Como as redes são conectadas em hierarquias (como nas hierarquias do Laplaciano) e Möbius se descascam como círculos (como nos GANs), as tendências são topográficas e são melhor representadas por gráficos direcionados onde os vértices não são neurônios, mas redes menores.

Quais topologias estão faltando?

Esta seção expande o significado da pergunta do título.

• Existe alguma razão pela qual vários meta-vértices, cada um representando uma rede neural, podem ser organizados de modo que vários meta-vértices de supervisor possam, em conjunto, supervisionar vários meta-vértices de funcionários?
• Por que a propagação traseira de um sinal de erro é o único equivalente não linear de feedback negativo?
• Não é possível empregar a colaboração entre meta-vértices em vez de supervisão, onde existem duas arestas recíprocas representando controles?
• Como as redes neurais são empregadas principalmente para o aprendizado de fenômenos não-lineares, por que proíbe outros tipos de caminhos fechados no design das redes ou em sua interconexão?
• Existe alguma razão pela qual o som não pode ser adicionado à imagem para que os videoclipes possam ser categorizados automaticamente? Se for esse o caso, um roteiro é uma possível extração de recursos de um filme e uma arquitetura antagônica pode ser usada para gerar roteiros e produzir os filmes sem o sistema de estúdio de cinema? Como seria essa topologia como um gráfico direcionado?
• Embora as células dispostas ortogonalmente possam simular um arranjo regular arbitrário de vértices e arestas não ortogonais, é eficiente fazê-lo em visão computacional, onde é comum a inclinação da câmera além de mais ou menos 90 graus?
• É eficiente organizar células individuais em redes ou redes de células em sistemas de IA ortogonalmente em sistemas de aprendizagem que visam a compreensão e montagem da linguagem natural ou cognição artificial?

Notas

1. As células artificiais nos MLPs usam funções de transferência aritmética de ponto fixo ou flutuante, em vez de transmissões de pulsos eletroquímicos com base no limiar baseado em amplitude e proximidade. Não são simulações realistas de neurônios, portanto, chamar os vértices de neurônios seria um nome impróprio para esse tipo de análise.

2. A correlação dos recursos da imagem e as alterações relativas entre os pixels muito próximas é muito maior do que a dos pixels distantes.

Topologia é o estudo de formas geométricas diferenciadas por interseção e bifurcação. O termo é usado para as arquiteturas de rede de aspectos gráficos. Convém usá-lo para considerar a extensão da analogia da rede neural, com o entendimento de que as RNAs não são muito parecidas com neurônios biológicos na maneira como ativam. Por isso, é difícil limitar a discussão a preocupações topológicas quando se considera o que é amplamente inexplorado.

O paradigma do funcionário supervisor é o que as pilhas e as hierarquias do Laplaciano usam, enquanto o paradigma do colaborador é o que as redes adversárias usam. Embora o feedback seja negativo, o modelo generativo (G) e o modelo discriminativo (D) estão na verdade em colaboração para alcançar uma meta, pois um advogado do diabo é usado no discurso para convergir para verdades. Certamente outros projetos em que os vértices não são neurônios artificiais, mas RNAs inteiros ou elementos da CNN são futuros.

Os paradigmas professor-aluno e supervisor-funcionário são provavelmente apenas dois de muitos. Para simular a plasticidade neural, os paradigmas planta-jardineiro, reparador de eletrodomésticos e engenheiro-produto precisam de investigação.

A propagação retroativa de um sinal de erro não é o único equivalente não linear de feedback negativo. A topologia circular dos GANs também é um feedback negativo, como você indicou no uso da analogia da tira de Möbius. Deveria haver mais pensamento nesse sentido.

A colaboração entre meta-vértices é interessante. A colaboração deve ser do tipo de pretendente adversário? O feedback positivo pode ser útil em topologias de inteligência artificial? Proprietários de fazendas e motoristas de caminhões de distribuição de alimentos compram alimentos em supermercados que estão no final de uma cadeia de processos dos quais seu papel é apenas uma parte. Ciclos maiores nas representações gráficas direcionadas de topologias e projetos provavelmente podem empregar feedback positivo ou negativo de maneira útil.

A produção artificial de filmes pode surgir de pesquisas como o trabalho de Cornell U sobre Geração de Vídeo a partir de Texto - Li, Min, Shen, Carlson e Carin .

Edge of Chaos e Machine Learning; e benefícios na tomada de decisão

Resposta Direta à Sua Pergunta : -

Borda do Caos

Leigos Explicação : -

( https://www.lucd.ai/post/the-edge-of-chaos# !)

O que é esta resposta : -

The Edge of Chaos na teoria do caos pode ser um tópico importante de pesquisa em inteligência artificial.

Qual é o limite do caos? Supõe-se que esse campo exista dentro de uma ampla variedade de sistemas. Tem muitas aplicações nesses campos. Este campo é uma zona de transição entre a interação entre ordem e desordem.

Estou interessado na interseção entre IA e teoria do caos. A borda do caos serve como uma topologia potencial que é amplamente inexplorada no aprendizado de máquina.

Este é um campo rico que oferece muito potencial. É, em grande parte, desconhecido e subestimado.

Explorarei os benefícios de analisar esse campo nesta resposta. Os benefícios aparecem na tomada de decisões, como a maneira ideal de investir e gerenciar a mão de obra em uma organização.

Explicação técnica : -

"Matrizes, cubos, camadas, pilhas e hierarquias são o que poderíamos chamar com precisão de topologias. Considere a topologia nesse contexto o design geométrico de nível mais alto de um sistema de aprendizado". ~ Douglas Daseeco, cartaz de abertura

Compare isso com este extrato do resumo do artigo abaixo:

"... Através da análise dinâmica de estabilidade em vários modelos de visão computacional, encontramos evidências diretas de que o desempenho ideal da rede neural profunda ocorre perto do ponto de transição que separa atratores estáveis ​​e caóticos. ..." Feng, Ling e Choy Heng Lai. - "Inteligência ideal da máquina perto do limite do caos". pré-impressão do arXiv arXiv: 1909.05176 (2019).

-

"O limite do caos é um espaço de transição entre ordem e desordem que existe a hipótese de existir em uma ampla variedade de sistemas. Essa zona de transição é uma região de instabilidade limitada que gera uma constante interação dinâmica entre ordem e desordem.

Mesmo que a idéia do limite do caos seja abstrata e pouco intuitiva, ela tem muitas aplicações em campos como ecologia, administração de negócios, psicologia, ciência política e outros domínios da ciência social. Os físicos mostraram que a adaptação à beira do caos ocorre em quase todos os sistemas com feedback. "Contribuidores da Wikipedia". - "Borda do caos". Wikipedia, A Enciclopédia Livre . Wikipedia, The Free Encyclopedia, 10 de setembro de 2019. Web. 22 de setembro de 2019.

Os benefícios de estudar esse campo : -

"[...] Estratégia, protocolo, equipes, departamentos, hierarquias. Tudo meticulosamente organizado para otimizar o desempenho.

Ou pelo menos, é assim que deveria ser. Mas quando aplicamos as lentes de um teórico da complexidade aos negócios que realizamos, vemos que as questões são um pouco mais complexas. Não vemos mais as organizações como organizações ou departamentos como departamentos, mas como sistemas adaptativos complexos, compreendidos de maneira mais útil nas três partes:

EMPREGO

Usando modelos mentais para tomar melhores decisões no trabalho A vida profissional está repleta de escolhas difíceis. Estou pronto para esta promoção? Qual dos meus gerentes devo escolher como mentor? O que devo comer no almoço? Não existe um método infalível para seguir consistentemente o melhor curso de ação - mesmo o melhor de nós cometer erros - mas, com as ferramentas certas, é possível maximizar as chances de sucesso.

Em primeiro lugar, os funcionários (na complexidade falam: agentes heterogêneos). Cada funcionário possui regras de decisão diferentes e em evolução, que refletem o ambiente e tentam antecipar mudanças nele. Segundo, os funcionários interagindo uns com os outros e as estruturas que essas interações criam - os cientistas chamam de emergência. Por fim, a estrutura abrangente que surge, comportando-se como um sistema de nível superior, com propriedades e características distintas daquelas de seus agentes subjacentes. Esta última parte é a razão pela qual costumamos dizer 'o todo é maior que a soma de suas partes'.

Dado o desejo de controle dos gerentes, a complexidade está longe de ser uma realidade conveniente. Em vez de enfrentar a realidade brutal do sistema que eles estão trabalhando para sustentar, os gerentes costumam trabalhar em silos, criando modelos e mecanismos que impõem uma camada de certeza. Ao fazer isso, eles se ajudam e a seus colegas a tomar decisões com menos variáveis. O cumprimento das metas estabelecidas por esses modelos gera evidências de sucesso - mas é um sucesso simplificado que pode não ser do interesse do sistema como um todo.

Por exemplo, colocar uma prioridade rígida na maximização do retorno dos acionistas deixa as coisas claras para os trabalhadores: no caso de uma troca difícil, a opção que se presta à lucratividade imediata é a opção preferível. Mas, é claro, todos sabemos que a redução de despesas e investimentos para aumentar as margens de curto prazo pode ser prejudicial à saúde de uma empresa a longo prazo. Somente abraçando a complexidade é que podemos equilibrar efetivamente os valores e as prioridades concorrentes (e os efeitos das decisões sobre todos eles). [...] "- Fresno, Blanca González del.“ Ordem do caos: como aplicar a teoria da complexidade no trabalho: BBVA. ” NOTÍCIAS BBVA , BBVA, 4 de dezembro de 2017, < www.bbva.com/pt/order-from-chaos-how-toply-complity-theplex-theory-at-work/ >.

Leitura adicional : -

• ( http://www.marspolemics.com/racing-over-the-edge-of-chaos-cyberspace-and-artificial-intelligence-in-the-future-operating-environment/ )
• ( https://scitechdaily.com/physicists-apply-machine-learning-to-solve-the-universes-mysteries/ )
• ( https://www.technologyreview.com/s/602234/how-the-mathematics-of-algebraic-topology-is-revolutionizing-brain-science/ )

Fontes e referências : -

• ( https://en.wikipedia.org/wiki/Edge_of_chaos )
• ( https://arxiv.org/abs/1909.05176v1 )
• ( https://ktiml.mff.cuni.cz/~bartak/ui_seminar/talks/2016ZS/FilipMatzner_DeepLearning.pdf )
• ( https://en.wikipedia.org/wiki/Self-organized_criticality )

Isso pode estar fora do tópico. Nesse caso, exclua-o.

Nos circuitos eletrônicos, temos blocos lógicos - geradores, gatilhos, células de memória, seletores, alus, fpus, barramentos e muitos outros chips. E a partir disso, temos computadores e, a partir do próximo nível, temos redes de computadores ...

Para aprendizagem de máquina, devemos ter uma organização semelhante de coisas, mas se temos 64-bits computadores, nossas redes neurais podem ter mais complexas entradas / saídas e mais funções lógicas além das definidas em qualquer linguagem de programação.

Portanto, para os bits de entrada X, temos estados X ^ (2 ^ 2) para um bit de saída e 2 bits X para a escolha de uma função lógica necessária.

Portanto, devemos estudar consistentemente essas funções, destacando as necessárias, como primeiro filtro de filtro como em exemplos.