Na minha opinião, os dados de entrada correlacionados devem levar ao sobreajuste nas redes neurais, porque a rede aprende a correlação, por exemplo, ruído nos dados. Isso está
RNNs são notavelmente bons para capturar a dependência de tempo de dados seqüenciais. No entanto, o que acontece quando os elementos da sequência não são igualmente espaçados no tempo? Por exemplo, a primeira entrada na célula LSTM acontece na segunda-feira, depois não há dados de terça a...
No artigo de 2015 da DeepMind sobre aprendizado profundo por reforço, ele afirma que "as tentativas anteriores de combinar RL com redes neurais falharam amplamente devido ao aprendizado instável". O artigo lista algumas causas disso, com base nas correlações entre as observações. Por favor, alguém...
Quais problemas de entrada seqüencial são mais adequados para cada um? A dimensionalidade da entrada determina qual é a melhor correspondência? Os problemas que requerem "memória mais longa" são mais adequados para uma RNN LSTM, enquanto os problemas com padrões de entrada cíclicos (mercado de...
Estou trabalhando em um pequeno projeto em que estamos tentando prever os preços de commodities (petróleo, alumínio, estanho, etc.) nos próximos 6 meses. Eu tenho 12 variáveis para prever e tenho dados de abril de 2008 a maio de 2013. Como devo fazer previsões? Eu fiz o seguinte: Dados...
Eu tenho um conhecimento básico de como as RNNs (e, em particular, com as unidades LSTMs) funcionam. Tenho uma idéia pictórica da arquitetura de uma unidade LSTM, que é uma célula e alguns portões, que regulam o fluxo de valores. No entanto, aparentemente, eu não entendi completamente como o LSTM...
De acordo com este tutorial sobre aprendizado profundo , a redução de peso (regularização) geralmente não é aplicada aos termos de viés b por quê? Qual é o significado (intuição) por trás
Estudei a arquitetura da rede neural siamesa introduzida por Yann LeCun e seus colegas em 1994 para o reconhecimento de assinaturas ( “Verificação de assinatura usando uma rede neural siamese com atraso de tempo” .pdf , NIPS 1994) Entendi a idéia geral dessa arquitetura, mas realmente não consigo...
Estou usando uma rede lstm e feed-forward para classificar o texto. Converto o texto em vetores muito quentes e alimento cada um no lstm para que eu possa resumir como uma única representação. Então eu o alimento para a outra rede. Mas como eu treino o lstm? Eu só quero classificar o texto em...
Pesquisei no Google, Wikipedia, Google Scholar e mais, mas não consegui encontrar a origem dos Autoencoders. Talvez seja um desses conceitos que evoluiu muito gradualmente, e é impossível traçar um ponto de partida claro, mas ainda assim eu gostaria de encontrar algum tipo de resumo das principais...
Eu estava lendo o livro de Yoshua Bengio sobre aprendizado profundo e está escrito na página 224: As redes convolucionais são simplesmente redes neurais que usam a convolução no lugar da multiplicação geral da matriz em pelo menos uma de suas camadas. no entanto, eu não tinha 100% de certeza...
Acabei de abordar as Redes Neurais Artificiais no curso de Aprendizado de Máquina do Coursera e gostaria de conhecer mais teorias por trás delas. Acho a motivação que eles imitam a biologia um tanto insatisfatória. Na superfície, parece que em cada nível substituímos as covariáveis por uma...
Quando as pessoas falam sobre redes neurais, o que elas significam quando dizem "tamanho do kernel"? Kernels são funções de similaridade, mas o que isso diz sobre o tamanho do
Eu tenho dados brutos que possuem cerca de 20 colunas (20 recursos). Dez deles são dados contínuos e 10 deles são categóricos. Alguns dos dados categóricos podem ter 50 valores diferentes (Estados dos EUA). Depois que eu pré-processo os dados, as 10 colunas contínuas se tornam 10 colunas preparadas...
É possível ter pesos negativos (após épocas suficientes) para redes neurais convolucionais profundas quando usamos ReLU para todas as camadas de
Estou estudando o curso DeepAI da Cousera (vídeo da Semana 3 1 "Visão geral das redes neurais") e Andrew Ng está explicando como cada camada de uma rede neural é apenas outra regressão logística, mas ele não explica como isso torna as coisas mais precisas. Assim, em uma rede de duas camadas, como...
Eu li alguns artigos sobre imagens manualmente inventadas para "enganar" uma rede neural (veja abaixo). Isso ocorre porque as redes modelam apenas a probabilidade condicional p ( y| x)p(y|x)p(y|x) ? Se uma rede puder modelar a probabilidade conjunta p ( y, X )p(y,x)p(y,x) , esses casos ainda...
Fechadas. Esta questão está fora de tópico . No momento, não está aceitando respostas. Deseja melhorar esta pergunta? Atualize a pergunta para que ela esteja no tópico de Validação cruzada. Fechado há 9 meses . Eu sei que existem muitas bibliotecas para...
Estou tentando treinar uma rede neural para classificação, mas os rótulos que tenho são bastante barulhentos (cerca de 30% deles estão errados). A perda de entropia cruzada realmente funciona, mas eu queria saber se existem alternativas mais eficazes nesse caso. ou a perda de entropia cruzada é a...
Descrição: Permita que o domínio do problema seja uma classificação de documento onde exista um conjunto de vetores de recursos, cada um pertencendo a 1 ou mais classes. Por exemplo, um documento doc_1pode pertencer a Sportse Englishcategorias. Questão: Usando rede neural para classificação,...