Onde devo colocar as camadas de dropout em uma rede neural?
Existe alguma orientação geral sobre onde colocar camadas de dropout em uma rede
65
Existe alguma orientação geral sobre onde colocar camadas de dropout em uma rede
Uma criança humana com 2 anos de idade precisa de cerca de 5 instâncias de um carro para poder identificá-lo com precisão razoável, independentemente da cor, marca etc. Quando meu filho tinha 2 anos, ele foi capaz de identificar bondes e trens, mesmo tendo visto apenas alguns. Como ele geralmente...
Estou treinando uma rede neural para classificar um conjunto de objetos em n-classes. Cada objeto pode pertencer a várias classes ao mesmo tempo (multi-classe, multi-rótulo). Li que, para problemas com várias classes, geralmente é recomendável usar softmax e entropia cruzada categórica como a...
Estou tendo a impressão de que, quando as pessoas estão se referindo a uma rede de "crenças profundas", essa é basicamente uma rede neural, mas muito grande. Isso está correto ou uma profunda rede de crenças também implica que o algoritmo em si é diferente (ou seja, nenhuma rede neural de avanço de...
Vejo que muitos algoritmos de aprendizado de máquina funcionam melhor com cancelamento médio e equalização de covariância. Por exemplo, as Redes Neurais tendem a convergir mais rapidamente, e o K-Means geralmente oferece melhores agrupamentos com recursos pré-processados. Não vejo a intuição por...
Qual é a diferença entre uma rede neural de feed-forward e recorrente ? Por que você usaria um sobre o outro? Existem outras topologias de rede?
Encontrei duas perguntas aqui e aqui sobre esse problema, mas ainda não há uma resposta ou explicação óbvia. Eu imponho o mesmo problema em que o erro de validação é menor que o erro de treinamento na minha Rede Neural de Convolução. O que isso
Eu queria saber se existem boas bibliotecas R por aí para redes neurais de aprendizado profundo? Eu sei que existe o nnet,, neuralnete RSNNS, mas nenhum deles parece implementar métodos de aprendizado profundo. Estou especialmente interessado em não supervisionado, seguido de aprendizado...
O PCA e o autoencoder podem reduzir a demension, então, qual é a diferença entre eles? Em que situação devo usar um sobre o
Alguém pode explicar o que é uma camada global máxima de pool e por que e quando a usamos para treinar uma rede neural. Eles têm alguma vantagem sobre a camada máxima comum de
Eu sou novo na área de aprendizado profundo e, para mim, o primeiro passo foi ler artigos interessantes no site deeplearning.net. Em artigos sobre aprendizado profundo, Hinton e outros falam principalmente sobre como aplicá-lo a problemas de imagem. Alguém pode tentar me responder, pode ser...
Parece que é possível obter resultados semelhantes a uma rede neural com regressão linear multivariada em alguns casos, e a regressão linear multivariada é super rápida e fácil. Sob quais circunstâncias as redes neurais podem dar melhores resultados do que a regressão linear...
Na maioria dos códigos de fluxo de tensão, o Adam Optimizer é usado com uma taxa de aprendizado constante de 1e-4(ou seja, 0,0001). O código geralmente tem a seguinte aparência: ...build the model... # Add the optimizer train_op = tf.train.AdamOptimizer(1e-4).minimize(cross_entropy) # Add the ops...
Muitos autores de artigos que li afirmam que os SVMs são uma técnica superior para enfrentar seu problema de regressão / classificação, cientes de que não puderam obter resultados semelhantes por meio de NNs. Frequentemente, a comparação afirma que SVMs, em vez de NNs, Tenha uma forte teoria...
Eu entendo como um artificial neural network (ANN), pode ser treinado de maneira supervisionada usando a retropropagação para melhorar o ajuste, diminuindo o erro nas previsões. Ouvi dizer que uma RNA pode ser usada para aprendizado não supervisionado, mas como isso pode ser feito sem uma função de...
Como estamos usando a função logística para transformar uma combinação linear da entrada em uma saída não linear, como a regressão logística pode ser considerada um classificador linear? A regressão linear é como uma rede neural sem a camada oculta, então por que as redes neurais são consideradas...
Entendo que a descida do gradiente estocástico pode ser usada para otimizar uma rede neural usando retropropagação, atualizando cada iteração com uma amostra diferente do conjunto de dados de treinamento. Qual deve ser o tamanho do
Existem redes neurais recorrentes e redes neurais recursivas. Ambos são geralmente indicados pela mesma sigla: RNN. Segundo a Wikipedia , o NN recorrente é de fato o NN recursivo, mas eu realmente não entendo a explicação. Além disso, não acho o que é melhor (com exemplos ou mais) para o...
A descida do gradiente tem um problema de ficar preso no mínimo local. Precisamos executar tempos exponenciais de descida de gradiente para encontrar mínimos globais. Alguém pode me falar sobre quaisquer alternativas de descida de gradiente aplicadas no aprendizado de redes neurais, juntamente com...
Em um post recente de Rong Ge, foi dito que: Acredita-se que, para muitos problemas, incluindo a aprendizagem de redes profundas, quase todos os mínimos locais tenham um valor de função muito semelhante ao ideal global e, portanto, encontrar um mínimo local é bom o suficiente. De onde vem...