Estrutura de rede inspirada em modelos simplificados de neurônios biológicos (células cerebrais). As redes neurais são treinadas para "aprender" por técnicas supervisionadas e não supervisionadas e podem ser usadas para resolver problemas de otimização, problemas de aproximação, classificação de padrões e combinações dos mesmos.
Redes backprop totalmente conectadas (pelo menos camada a camada com mais de 2 camadas ocultas) são aprendizes universais. Infelizmente, muitas vezes demoram a aprender e tendem a se ajustar demais ou a ter generalizações desajeitadas. Ao brincar com essas redes, observei que a remoção de algumas...
Um dos hiperparâmetros para redes LSTM é a temperatura. O que é
Qual é a diferença entre uma rede neural, um sistema de aprendizado profundo e uma rede de crenças profundas? Pelo que me lembro, sua rede neural básica é um tipo de coisa de três camadas, e eu tive os Deep Belief Systems descritos como redes neurais empilhadas umas sobre as outras. Até...
Meu objetivo é resolver o seguinte problema, que descrevi por suas entradas e saídas: Entrada: Um gráfico acíclico direcionado com nós, n fontes e 1 coletor ( m> n \ geq 1 ).m n 1 m > n ≥ 1GGGmmmnnn111m > n ≥ 1m>n≥1m > n \geq 1 Resultado: O VC-dimensão (ou uma aproximação da mesma)...
Introdução Passo um Escrevi uma rede neural padrão de backpropegating e, para testá-la, decidi mapear o XOR. É uma rede 2-2-1 (com função de ativação tanh) X1 M1 O1 X2 M2 B1 B2 Para fins de teste, configurei manualmente o neurônio do meio superior (M1) como uma porta AND e o neurônio...
Recentemente, eu aprendi sobre a existência dessa memória temporal hierárquica (HTM) . Eu já li o documento Memória Temporal Hierárquica: Conceitos, Teoria e Terminologia (de Jeff Hawkins e Dileep George), que parece bastante fácil de entender, mas uma bandeira vermelha é que o documento não é...
Quando dizemos que uma rede neural artificial é um Perceptron multicamada ? E quando dizemos que uma rede neural artificial é multicamada ? O termo perceptron está relacionado à regra de aprendizado para atualizar os pesos? Ou está relacionado a unidades de
Estou usando redes neurais para prever uma série temporal. A questão que estou enfrentando agora é como codificar data / hora / número de série. de cada entrada definida como uma entrada para a rede neural? Devo usar uma codificação C (usada para categorias de codificação) conforme descrito aqui...
Eu já vi algumas perguntas neste site sobre o Deep Dream, no entanto, nenhuma delas parece realmente falar sobre o que o DeepDream está fazendo, especificamente. Até onde eu entendi, eles parecem ter alterado a função objetivo e também a retropropagação, de modo que, em vez de atualizar pesos,...
Depois de ler as conquistas do google deepmind nos jogos da Atari , estou tentando entender o q-learning e q-networks, mas estou um pouco confuso. A confusão surge no conceito do fator de desconto. Breve resumo do que eu entendo. Uma rede neural profunda convolucional é usada para estimar o valor...
Recentemente, li uma entrada de blog muito interessante no Blog de Pesquisa do Google falando sobre rede neural. Basicamente, eles usam essas redes neurais para resolver vários problemas, como reconhecimento de imagem. Eles usam algoritmos genéticos para "evoluir" os pesos dos axônios. Então,...
Está provado que as redes neurais com pesos racionais têm o poder computacional da computabilidade da Universal Turing Machine Turing com redes neurais . Pelo que entendi, parece que o uso de pesos com valor real gera ainda mais poder computacional, embora eu não tenha certeza disso. No entanto,...
Existem vantagens em ter mais de 2 camadas ocultas em uma rede neural? Eu já vi alguns lugares que recomendam, outros provam que não há vantagem. Qual é o
Eu sou um graduado em CS (mas não sei muito sobre IA, mas não fiz nenhum curso sobre ela, e definitivamente nada sobre NN até recentemente), que está prestes a fazer um projeto escolar em AI, então escolho alguns tópicos sobre indução gramatical (da linguagem livre de contexto e talvez de algum...
Eu implementei uma rede neural (usando CUDA) com 2 camadas. (2 neurônios por camada). Estou tentando fazê-lo aprender duas funções polinomiais quadráticas simples usando a retropropagação . Mas, em vez de convergir, é divergente (a saída está se tornando infinita) Aqui estão mais alguns detalhes...
Por que os pesos iniciais das redes neurais são inicializados como números aleatórios? Eu tinha lido em algum lugar que isso é feito para "quebrar a simetria" e isso faz a rede neural aprender mais rápido. Como quebrar a simetria faz com que ela aprenda mais rápido? Será que inicializar os pesos...
Eu tenho aprendido sobre redes neurais e SVMs. Os tutoriais que li enfatizaram a importância da kernelização para os SVMs. Sem uma função do kernel, os SVMs são apenas um classificador linear. Com a kernelização, os SVMs também podem incorporar recursos não lineares, o que os torna um classificador...
Um algoritmo de rede neural artificial poderia ser expresso em termos de operações de redução de mapa? De maneira geral, também estou interessado em métodos de paralelização aplicados às RNAs e sua aplicação na computação em nuvem. Eu acho que uma abordagem envolveria executar uma RNA completa em...
Para muitos projetos de aprendizado de máquina que realizamos, começamos com o classificador k vizinho mais próximo. Este é um classificador inicial ideal, pois geralmente temos tempo suficiente para calcular todas as distâncias e o número de parâmetros é limitado (k, distância métrica e...
Ao atualizar os pesos de uma rede neural usando o algoritmo de retropropagação com um termo de momento, a taxa de aprendizado também deve ser aplicada ao termo de momento? A maioria das informações que pude encontrar sobre o uso do momento tem as equações parecidas com esta: W′Eu= WEu- α Δ WEu+ μ...