Por que as funções de ativação de unidades lineares retificadas (ReLU) são consideradas não lineares? f( x ) = max ( 0 , x )f(x)=max(0 0,x) f(x) = \max(0,x) Eles são lineares quando a entrada é positiva e, do meu entendimento, para desbloquear o poder representativo das redes profundas, as...
Eu quero usar o aprendizado profundo no meu projeto. Examinei alguns artigos e me ocorreu uma pergunta: existe alguma diferença entre rede neural de convolução e aprendizado profundo? Essas coisas são iguais ou existem grandes diferenças e qual é a
Dada uma função de custo convexa, usando o SGD para otimização, teremos um gradiente (vetor) em um determinado ponto durante o processo de otimização. Minha pergunta é, dado o ponto no convexo, o gradiente apenas aponta na direção em que a função aumenta / diminui mais rapidamente, ou o gradiente...
Estou tentando entender melhor as redes neurais convolucionais melhor escrevendo código Python que não depende de bibliotecas (como Convnet ou TensorFlow), e estou ficando preso na literatura sobre como escolher valores para a matriz do kernel, quando realizando uma convolução em uma imagem....
Eu estava lendo sobre o otimizador de Adam para o Deep Learning e me deparei com a seguinte frase no novo livro Deep Learning de Bengio, Goodfellow e Courville: Adam é geralmente considerado como sendo bastante robusto para a escolha de hiper parâmetros, embora a taxa de aprendizado às vezes...
Sei que minha pergunta / título não é muito específico, tentarei esclarecê-la: As redes neurais artificiais têm projetos relativamente rígidos. É claro que, geralmente, eles são influenciados pela biologia e tentam construir um modelo matemático de redes neurais reais, mas nosso entendimento das...
Qual é a diferença entre dropout e drop connect? No AFAIK, o abandono elimina aleatoriamente os nós ocultos durante o treinamento, mas os mantém em teste e o abandono deixa cair as conexões. Mas descartar conexões equivale a descartar os nós ocultos? Os nós (ou conexões) não são apenas um...
Eu tenho 50.000 imagens como estas duas: Eles representam gráficos de dados. Como eu queria extrair recursos dessas imagens, usei o código de codificador automático fornecido pela Theano (deeplearning.net). O problema é que esses auto-codificadores parecem não aprender nenhum recurso. Eu...
Em Alex Krizhevsky, et al. Na classificação Imagenet com redes neurais convolucionais profundas, eles enumeram o número de neurônios em cada camada (veja o diagrama abaixo). A entrada da rede é 150.528-dimensional, e o número de neurônios nas camadas restantes da rede é dado por...
Então, eu estou tentando treinar imagens de humanos usando redes convolucionais. Leio os jornais ( Paper1 e paper2 ) e esta ligação stackoverflow , mas eu não estou certo que eu sou entender a estrutura das redes (não é bem definida nos jornais). Questões: Posso fazer com que minha entrada seja...
Recentemente, eu estava correndo e aprendendo o fluxo tensor e obtive alguns histogramas que não sabia como interpretar. Normalmente, penso na altura das barras como a frequência (ou frequência / contagem relativa). No entanto, o fato de não haver barras como em um histograma usual e o fato de as...
Se você consultar a documentação http://keras.io/optimizers/, há um parâmetro no SGD para deterioração. Eu sei que isso reduz a taxa de aprendizado ao longo do tempo. No entanto, não consigo descobrir como funciona exatamente. É um valor multiplicado pela taxa de aprendizado, como lr = lr * (1 -...
Comecei a estudar sobre estatísticas e modelos. Atualmente, meu entendimento é que usamos o MLE para estimar os melhores parâmetros para um modelo. No entanto, quando tento entender como as redes neurais funcionam, parece que elas geralmente usam outra abordagem para estimar os parâmetros. Por que...
Eu estava jogando com uma rede neural simples, com apenas uma camada oculta, da Tensorflow, e tentei diferentes ativações para a camada oculta: Relu Sigmoid Softmax (bem, normalmente o softmax é usado na última camada ..) Relu oferece a melhor precisão de trem e precisão de validação. Não sei...
Estou ciente de que houve muitos avanços no que diz respeito ao reconhecimento de imagens, classificação de imagens etc. com redes neurais profundas e convolucionais. Mas se eu treinar uma rede, digamos, em imagens PNG, funcionará apenas para imagens tão codificadas? Que outras propriedades da...
Bem, a pergunta já diz tudo. O que se entende por "pré-treinar uma rede neural"? Alguém pode explicar em inglês simples e puro? Não consigo encontrar recursos relacionados a ele. Seria ótimo se alguém pudesse me apontar para
Ao treinar uma rede neural usando o algoritmo de retropropagação, o método de descida de gradiente é usado para determinar as atualizações de peso. Minha pergunta é: Em vez de usar o método de descida de gradiente para localizar lentamente o ponto mínimo com relação a um determinado peso, por que...
Eu estava querendo experimentar com uma rede neural um problema de classificação que estou enfrentando. Encontrei artigos que falam de RBMs. Mas pelo que entendi, eles não são diferentes de ter uma rede neural multicamada. Isso é preciso? Além disso, trabalho com R e não estou vendo nenhum pacote...
Para ilustrar minha pergunta, suponha que eu tenha um conjunto de treinamento em que a entrada tenha um grau de ruído, mas a saída não, por exemplo; # Training data [1.02, 1.95, 2.01, 3.06] : [1.0] [2.03, 4.11, 5.92, 8.00] : [2.0] [10.01, 11.02, 11.96, 12.04] : [1.0] [2.99, 6.06, 9.01, 12.10] :...
Eu estava ouvindo uma palestra e vi este slide: Quão verdadeiro é