Em alguns tutoriais, constatei que a inicialização do peso "Xavier" (artigo: Entendendo a dificuldade de treinar redes neurais profundas de avanço ) é uma maneira eficiente de inicializar os pesos das redes neurais. Para camadas totalmente conectadas, havia uma regra prática nesses...
O Tensorflow tem um tutorial de exemplo sobre a classificação do CIFAR-10 . No tutorial, a perda média de entropia cruzada no lote é minimizada. def loss(logits, labels): """Add L2Loss to all the trainable variables. Add summary for for "Loss" and "Loss/avg". Args: logits: Logits from...
Após uma pergunta já respondida ( Extraindo a importância do peso da rede de feed-forward de camada única ), procuro inferência sobre a relevância das entradas nas redes neurais. Considerando uma rede profunda, onde reconstruir a importância da entrada retrocedendo as camadas a partir do nó de...
Esta pergunta já tem respostas aqui : Algoritmo de retropropagação (2 respostas) Fechado há 2 meses . O que é o algoritmo de retropropagação e como ele
Qual deve ser a razão entre o número de observações e o número de variáveis? Como detectar o ajuste excessivo no modelo de rede neural e quais são as formas de evitar o ajuste excessivo? Se eu quiser fazer uma classificação com a Rede Neural, as aulas devem ter a mesma frequência? Por favor, me...
Fechadas. Esta questão está fora de tópico . No momento, não está aceitando respostas. Deseja melhorar esta pergunta? Atualize a pergunta para que ela esteja no tópico de Validação cruzada. Fechado há 9 meses . Eu sei que existem muitas bibliotecas para...
Estou estudando o curso DeepAI da Cousera (vídeo da Semana 3 1 "Visão geral das redes neurais") e Andrew Ng está explicando como cada camada de uma rede neural é apenas outra regressão logística, mas ele não explica como isso torna as coisas mais precisas. Assim, em uma rede de duas camadas, como...
As redes neurais pulsadas ou Spiking incorporam mais a dinâmica da membrana dos neurônios biológicos, onde os pulsos transportam informações para a próxima camada. Os neurônios não precisam necessariamente "disparar" todos ao mesmo tempo, como faria em um backprop, por exemplo. No entanto, parece...
Eu tenho uma lista de proteínas com seus valores de característica. Uma tabela de amostra é assim: ...............Feature1...Feature2...Feature3...Feature4 Protein1 Protein2 Protein3 Protein4 Linhas são proteínas e colunas são características. Eu também tenho uma lista de proteínas que...
Estou acompanhando a pergunta que fiz anteriormente nos RBMs . Vejo muita literatura descrevendo-os, mas nenhum que realmente fale de regressão (nem mesmo classificação com dados rotulados). Sinto que ele é usado apenas para dados não rotulados. Existem recursos para lidar com a regressão? Ou é tão...
Eu li alguns artigos sobre imagens manualmente inventadas para "enganar" uma rede neural (veja abaixo). Isso ocorre porque as redes modelam apenas a probabilidade condicional p ( y| x)p(y|x)p(y|x) ? Se uma rede puder modelar a probabilidade conjunta p ( y, X )p(y,x)p(y,x) , esses casos ainda...
Ao inicializar pesos de conexão em uma rede neural de feedforward, é importante inicializá-los aleatoriamente para evitar simetrias que o algoritmo de aprendizado não seria capaz de quebrar. A recomendação que vi em vários locais (por exemplo, no tutorial MNIST do TensorFlow ) é usar a...
Quais problemas de entrada seqüencial são mais adequados para cada um? A dimensionalidade da entrada determina qual é a melhor correspondência? Os problemas que requerem "memória mais longa" são mais adequados para uma RNN LSTM, enquanto os problemas com padrões de entrada cíclicos (mercado de...
No artigo de 2015 da DeepMind sobre aprendizado profundo por reforço, ele afirma que "as tentativas anteriores de combinar RL com redes neurais falharam amplamente devido ao aprendizado instável". O artigo lista algumas causas disso, com base nas correlações entre as observações. Por favor, alguém...
Eu tenho um conhecimento básico de como as RNNs (e, em particular, com as unidades LSTMs) funcionam. Tenho uma idéia pictórica da arquitetura de uma unidade LSTM, que é uma célula e alguns portões, que regulam o fluxo de valores. No entanto, aparentemente, eu não entendi completamente como o LSTM...
Estou usando uma rede lstm e feed-forward para classificar o texto. Converto o texto em vetores muito quentes e alimento cada um no lstm para que eu possa resumir como uma única representação. Então eu o alimento para a outra rede. Mas como eu treino o lstm? Eu só quero classificar o texto em...
Eu estava lendo o livro de Yoshua Bengio sobre aprendizado profundo e está escrito na página 224: As redes convolucionais são simplesmente redes neurais que usam a convolução no lugar da multiplicação geral da matriz em pelo menos uma de suas camadas. no entanto, eu não tinha 100% de certeza...
Acabei de abordar as Redes Neurais Artificiais no curso de Aprendizado de Máquina do Coursera e gostaria de conhecer mais teorias por trás delas. Acho a motivação que eles imitam a biologia um tanto insatisfatória. Na superfície, parece que em cada nível substituímos as covariáveis por uma...
Estou tentando treinar uma rede neural para classificação, mas os rótulos que tenho são bastante barulhentos (cerca de 30% deles estão errados). A perda de entropia cruzada realmente funciona, mas eu queria saber se existem alternativas mais eficazes nesse caso. ou a perda de entropia cruzada é a...
É possível ter pesos negativos (após épocas suficientes) para redes neurais convolucionais profundas quando usamos ReLU para todas as camadas de