O que é o Deep Learning Bayesiano e como ele se relaciona com as estatísticas Bayesianas tradicionais e com o Deep Learning tradicional? Quais são os principais conceitos e matemática envolvidos? Eu poderia dizer que são apenas estatísticas bayesianas não paramétricas? Quais são suas obras...
Estou usando uma rede lstm e feed-forward para classificar o texto. Converto o texto em vetores muito quentes e alimento cada um no lstm para que eu possa resumir como uma única representação. Então eu o alimento para a outra rede. Mas como eu treino o lstm? Eu só quero classificar o texto em...
Eu estava lendo o livro de Yoshua Bengio sobre aprendizado profundo e está escrito na página 224: As redes convolucionais são simplesmente redes neurais que usam a convolução no lugar da multiplicação geral da matriz em pelo menos uma de suas camadas. no entanto, eu não tinha 100% de certeza...
É possível ter pesos negativos (após épocas suficientes) para redes neurais convolucionais profundas quando usamos ReLU para todas as camadas de
Estou modelando 15000 tweets para previsão de sentimentos usando uma única camada LSTM com 128 unidades ocultas usando uma representação do tipo word2vec com 80 dimensões. Recebo uma precisão de descida (38% com aleatório = 20%) após 1 época. Mais treinamento faz com que a precisão da validação...
Como a camada de incorporação é treinada na camada de incorporação Keras? (digamos, usando back-end tensorflow, o que significa que é semelhante ao word2vec, glove ou fasttext) Suponha que não usamos uma incorporação
Fechadas. Esta questão está fora de tópico . No momento, não está aceitando respostas. Deseja melhorar esta pergunta? Atualize a pergunta para que ela esteja no tópico de Validação cruzada. Fechado há 9 meses . Eu sei que existem muitas bibliotecas para...
Antecedentes: recentemente entendi em um nível mais profundo a importância do aumento de dados ao treinar redes neurais convolucionais depois de assistir a essa excelente palestra de Geoffrey Hinton . Ele explica que as redes neurais convolucionais da geração atual não são capazes de generalizar...
Recentemente, li um artigo de Yann Dauphin et al. Identificando e atacando o problema do ponto de sela na otimização não convexa de alta dimensão , onde eles introduzem um interessante algoritmo de descida chamado Saddle-Free Newton , que parece ser exatamente adaptado para otimização de rede...
Quero saber o que é e como é diferente do conjunto? Suponha que eu queira alcançar alta precisão na classificação e segmentação, para uma tarefa específica, se eu usar redes diferentes, como CNN, RNN, etc. para conseguir isso, isso é chamado de modelo de ponta a ponta? (arquitetura?) ou...
Existem grupos de pesquisa trabalhando no aprendizado profundo para problemas de otimização combinatória?
A topologia do modelo do Google Inception pode ser encontrada aqui: Google Inception Netowrk Percebi que há 3 camadas de softmax neste modelo (# 154, # 152, # 145) e duas delas são algum tipo de fuga precoce desse modelo. Pelo que sei, a camada softmax é para saída final, então por que existem...
Eu li alguns artigos sobre imagens manualmente inventadas para "enganar" uma rede neural (veja abaixo). Isso ocorre porque as redes modelam apenas a probabilidade condicional p ( y| x)p(y|x)p(y|x) ? Se uma rede puder modelar a probabilidade conjunta p ( y, X )p(y,x)p(y,x) , esses casos ainda...
Antecedentes: Estou estudando o capítulo 6 do Deep Learning de Ian Goodfellow e Yoshua Bengio e Aaron Courville. Na seção 6.2.2.2 (páginas 182 de 183, que pode ser vista aqui ), é motivado o uso de sigmóide na saída .P(y=1|x)P(y=1|x)P(y=1|x) Para resumir alguns dos materiais que deixe ser um...
Estou estudando e tentando implementar redes neurais convolucionais, mas suponho que essa pergunta se aplique aos perceptrons multicamadas em geral. Os neurônios de saída em minha rede representam a ativação de cada classe: o neurônio mais ativo corresponde à classe prevista para uma determinada...
Eu entendo que, dado um conjunto de observações independentes o Estimador de Máxima Verossimilhança (ou, equivalentemente, o MAP com flat / uniform anterior) que identifica os parâmetros \ mathbf {θ} que produzem a distribuição do modelo p_ {model} \ esquerda (\, \ cdot \,; \ mathbf {θ} \ right)...
A normalização de lotes foi creditada com melhorias substanciais de desempenho em redes neurais profundas. Muito material na internet mostra como implementá-lo, ativação por ativação. Eu já implementei backprop usando álgebra matricial e, como estou trabalhando em linguagens de alto nível (enquanto...
Estive assistindo as palestras CS231N de Stanford e estou tentando entender alguns problemas nas arquiteturas da CNN. O que estou tentando entender é se existem algumas diretrizes gerais para escolher o tamanho do filtro de convolução e coisas como avanços ou isso é mais uma arte do que uma...
Quero saber a diferença entre regressão linear em uma análise regular de aprendizado de máquina e regressão linear no cenário de "aprendizado profundo". Quais algoritmos são usados para regressão linear em um ambiente de aprendizado
O recente progresso nas redes neurais é resumido por uma sequência de novas arquiteturas caracterizadas principalmente por sua crescente complexidade de projeto. De LeNet5 (1994) a AlexNet (2012), Overfeat (2013) e GoogleLeNet / Inception (2014) e assim por diante ... Existe alguma tentativa de...