Eu me deparei com algumas maneiras básicas de medir a complexidade das redes neurais:
- Ingênuo e informal: conte o número de neurônios, neurônios ocultos, camadas ou camadas ocultas
- Dimensão VC (Eduardo D. Sontag [1998] "Dimensão VC de redes neurais" [ pdf ].)
- Um curso de complexidade computacional granular e assintótica mede por equivalência a T C 0 d .
Existem outras alternativas?
É preferido:
- Se a métrica de complexidade puder ser usada para medir redes neurais de diferentes paradigmas (para medir backprop, redes neurais dinâmicas, correlação em cascata, etc.) na mesma escala. Por exemplo, a dimensão VC pode ser usada para tipos diferentes em redes (ou até outras coisas que não sejam redes neurais), enquanto o número de neurônios é útil apenas entre modelos muito específicos, nos quais a função de ativação, sinais (somas básicas x picos) e outros propriedades da rede são as mesmas.
- Se possui boas correspondências a medidas padrão de complexidade de funções aprendidas pela rede
- Se é fácil calcular a métrica em redes específicas (essa última não é obrigatória).
Notas
Esta pergunta é baseada em uma pergunta mais geral no CogSci.SE.
neural-networks
theory
vc-dimension
pac-learning
Artem Kaznatcheev
fonte
fonte
Respostas:
Você pode dar uma olhada no artigo "(Não) limitando o verdadeiro erro de John Langford e Rich Caruana (NIPS, 2001)
O resumo declara:
Eles mostram que você pode aplicar limites de estilo PAC-Bayes a redes neurais estocásticas. No entanto, a análise se aplica apenas a redes neurais de avanço de duas camadas com uma função de transferência sigmoidal. Nesse caso, o termo complexidade depende apenas do número de nós e da variação dos pesos. Eles mostram que, para essa configuração, o limite prevê efetivamente quando o treinamento em excesso ocorrerá. Infelizmente, ele realmente não atinge nenhuma das suas propriedades "preferidas"!
fonte
Além disso, você também pode ter interesse no trabalho da dimensão destruidora de gorduras feito pelo professor Peter Bartlett. Aqui está uma introdução à análise da complexidade da rede neural, em um artigo do IEEE de 1998: A complexidade da amostra de classificação de padrões com redes neurais: o tamanho dos pesos é mais importante que o tamanho da rede (Bartlett 1998) [ http: //ieeexplore.ieee.org/stamp/stamp.jsp?tp=&arnumber=661502]
fonte