Estou tentando entender melhor as redes neurais convolucionais melhor escrevendo código Python que não depende de bibliotecas (como Convnet ou TensorFlow), e estou ficando preso na literatura sobre como escolher valores para a matriz do kernel, quando realizando uma convolução em uma imagem....
Eu tenho 50.000 imagens como estas duas: Eles representam gráficos de dados. Como eu queria extrair recursos dessas imagens, usei o código de codificador automático fornecido pela Theano (deeplearning.net). O problema é que esses auto-codificadores parecem não aprender nenhum recurso. Eu...
Em Alex Krizhevsky, et al. Na classificação Imagenet com redes neurais convolucionais profundas, eles enumeram o número de neurônios em cada camada (veja o diagrama abaixo). A entrada da rede é 150.528-dimensional, e o número de neurônios nas camadas restantes da rede é dado por...
Qual é a diferença entre dropout e drop connect? No AFAIK, o abandono elimina aleatoriamente os nós ocultos durante o treinamento, mas os mantém em teste e o abandono deixa cair as conexões. Mas descartar conexões equivale a descartar os nós ocultos? Os nós (ou conexões) não são apenas um...
Recentemente, eu estava correndo e aprendendo o fluxo tensor e obtive alguns histogramas que não sabia como interpretar. Normalmente, penso na altura das barras como a frequência (ou frequência / contagem relativa). No entanto, o fato de não haver barras como em um histograma usual e o fato de as...
Comecei a estudar sobre estatísticas e modelos. Atualmente, meu entendimento é que usamos o MLE para estimar os melhores parâmetros para um modelo. No entanto, quando tento entender como as redes neurais funcionam, parece que elas geralmente usam outra abordagem para estimar os parâmetros. Por que...
Se você consultar a documentação http://keras.io/optimizers/, há um parâmetro no SGD para deterioração. Eu sei que isso reduz a taxa de aprendizado ao longo do tempo. No entanto, não consigo descobrir como funciona exatamente. É um valor multiplicado pela taxa de aprendizado, como lr = lr * (1 -...
Então, eu estou tentando treinar imagens de humanos usando redes convolucionais. Leio os jornais ( Paper1 e paper2 ) e esta ligação stackoverflow , mas eu não estou certo que eu sou entender a estrutura das redes (não é bem definida nos jornais). Questões: Posso fazer com que minha entrada seja...
Estou curioso para saber como os gradientes são propagados novamente através de uma rede neural usando módulos ResNet / pular conexões. Eu já vi algumas perguntas sobre o ResNet (por exemplo, rede neural com conexões de camada de salto ), mas esta pergunta especificamente sobre a propagação de...
Ao treinar uma rede neural usando o algoritmo de retropropagação, o método de descida de gradiente é usado para determinar as atualizações de peso. Minha pergunta é: Em vez de usar o método de descida de gradiente para localizar lentamente o ponto mínimo com relação a um determinado peso, por que...
Eu estava querendo experimentar com uma rede neural um problema de classificação que estou enfrentando. Encontrei artigos que falam de RBMs. Mas pelo que entendi, eles não são diferentes de ter uma rede neural multicamada. Isso é preciso? Além disso, trabalho com R e não estou vendo nenhum pacote...
Bem, a pergunta já diz tudo. O que se entende por "pré-treinar uma rede neural"? Alguém pode explicar em inglês simples e puro? Não consigo encontrar recursos relacionados a ele. Seria ótimo se alguém pudesse me apontar para
Existem bons documentos que abordam algumas maneiras metódicas de escolher as dimensões dos filtros, agrupar as unidades e determinar o número de camadas
Existe uma discussão semelhante aqui (a função de custo da rede neural não é convexa? ), Mas não consegui entender os pontos nas respostas e minha razão para perguntar novamente, esperando que isso esclareça alguns problemas: Se estou usando soma de função de custo diferença de quadrados, sou em...
Estou ciente de que houve muitos avanços no que diz respeito ao reconhecimento de imagens, classificação de imagens etc. com redes neurais profundas e convolucionais. Mas se eu treinar uma rede, digamos, em imagens PNG, funcionará apenas para imagens tão codificadas? Que outras propriedades da...
Eu estava jogando com uma rede neural simples, com apenas uma camada oculta, da Tensorflow, e tentei diferentes ativações para a camada oculta: Relu Sigmoid Softmax (bem, normalmente o softmax é usado na última camada ..) Relu oferece a melhor precisão de trem e precisão de validação. Não sei...
Para ilustrar minha pergunta, suponha que eu tenha um conjunto de treinamento em que a entrada tenha um grau de ruído, mas a saída não, por exemplo; # Training data [1.02, 1.95, 2.01, 3.06] : [1.0] [2.03, 4.11, 5.92, 8.00] : [2.0] [10.01, 11.02, 11.96, 12.04] : [1.0] [2.99, 6.06, 9.01, 12.10] :...
Esta pergunta já tem respostas aqui : Como a mudança na função de custo pode ser positiva? (1 resposta) O que devo fazer quando minha rede neural não aprende? (5 respostas) Fechado no mês passado . Estou treinando um modelo (Rede Neural Recorrente) para...
É frequentemente mencionado que as unidades lineares retificadas (ReLU) substituíram as unidades softplus porque são lineares e mais rápidas de calcular. O softplus ainda tem a vantagem de induzir esparsidade ou isso é restrito à ReLU? A razão pela qual pergunto é que me pergunto sobre as...
Essencialmente, minha pergunta é que, nos Perceptrons multicamadas, os perceptrons são usados com uma função de ativação sigmóide. De modo que na regra de actualização y é calculado comoy^y^\hat{y} y^=11+exp(−wTxi)y^=11+exp(−wTxi)\hat{y} = \frac{1}{1+\exp(-\mathbf{w}^T\mathbf{x}_i)} Como esse...