Está provado que as redes neurais com pesos racionais têm o poder computacional da computabilidade da Universal Turing Machine Turing com redes neurais . Pelo que entendi, parece que o uso de pesos com valor real gera ainda mais poder computacional, embora eu não tenha certeza disso.
No entanto, existe alguma correlação entre o poder computacional de uma rede neural e sua função de ativação? Por exemplo, se a função de ativação compara a entrada com um limite de uma sequência de Specker (algo que você não pode fazer com uma máquina de Turing normal, certo?), Isso torna a rede neural computacionalmente "mais forte"? Alguém poderia me indicar uma referência nessa direção?
computability
neural-networks
K.Steff
fonte
fonte
Respostas:
Apenas uma nota:
racionais ponderada recorrentes s com função de activação booleanos (limiares simples) são equivalentes aos autómatos de estados finitos (Minsky, "Cálculo: máquinas finitos e infinitos", 1967);NN
mas ...
fonte
Vou pegar a solução fácil e dizer "Sim". Considere uma função de ativação que aceita todas as entradas e simplesmente retorna um valor constante (ou seja, ignora as entradas). Essa rede sempre resulta em uma saída constante e, portanto, o poder computacional (provavelmente por qualquer definição) dessa rede é zero. Não é capaz de calcular nada.
Isso é suficiente para mostrar uma correlação entre a função de ativação e a potência da rede. É claro que não mostra, nem refuta, que uma rede poderia ter mais energia do que uma máquina de tortura universal.
fonte