Uma área de aprendizado de máquina relacionada ao aprendizado de representações hierárquicas dos dados, realizada principalmente com redes neurais profundas.
Estou treinando uma rede neural, mas a perda de treinamento não diminui. Como posso consertar isso? Não estou perguntando sobre ajuste excessivo ou regularização. Estou perguntando como resolver o problema em que o desempenho da minha rede não melhora no conjunto de treinamento . Essa questão é...
O estado da arte da não linearidade é usar unidades lineares retificadas (ReLU) em vez da função sigmóide em redes neurais profundas. Quais são as vantagens? Sei que treinar uma rede quando o ReLU é usado seria mais rápido e com inspiração biológica, quais são as outras vantagens? (Ou seja, alguma...
Recentemente, tenho lido sobre aprendizagem profunda e estou confuso sobre os termos (ou digamos, tecnologias). Qual é a diferença entre Redes neurais convolucionais (CNN), Máquinas Boltzmann restritas (RBM) e Codificadores
Não vi a pergunta declarada precisamente nesses termos, e é por isso que faço uma nova pergunta. O que estou interessado em conhecer não é a definição de uma rede neural, mas entender a diferença real com uma rede neural profunda. Para mais contexto: eu sei o que é uma rede neural e como a...
Atualmente, estou fazendo o Udacity Deep Learning Tutorial. Na lição 3, eles falam sobre uma convolução 1x1. Essa convolução 1x1 é usada no Google Inception Module. Estou tendo problemas para entender o que é uma convolução 1x1. Eu também vi este post de Yann Lecun. Alguém poderia gentilmente me...
Existem algumas variações de como normalizar as imagens, mas a maioria parece usar esses dois métodos: Subtraia a média por canal calculada em todas as imagens (por exemplo, VGG_ILSVRC_16_layers ) Subtrair por pixel / canal calculado sobre todas as imagens (por exemplo , CNN_S , consulte também a...
Nos últimos anos, as redes neurais convolucionais (ou talvez as redes neurais profundas em geral) tornaram-se cada vez mais profundas, com redes de ponta passando de 7 camadas ( AlexNet ) a 1000 camadas ( Redes Residuais) no espaço de 4 anos. A razão por trás do aumento no desempenho de uma rede...
Uma época em descida de gradiente estocástico é definida como uma única passagem pelos dados. Para cada minibatch SGD, amostras são coletadas, o gradiente calculado e os parâmetros atualizados. Na configuração de época, as amostras são coletadas sem substituição.kkk Mas isso parece desnecessário....
Estou tendo a impressão de que, quando as pessoas estão se referindo a uma rede de "crenças profundas", essa é basicamente uma rede neural, mas muito grande. Isso está correto ou uma profunda rede de crenças também implica que o algoritmo em si é diferente (ou seja, nenhuma rede neural de avanço de...
Eu queria saber se existem boas bibliotecas R por aí para redes neurais de aprendizado profundo? Eu sei que existe o nnet,, neuralnete RSNNS, mas nenhum deles parece implementar métodos de aprendizado profundo. Estou especialmente interessado em não supervisionado, seguido de aprendizado...
Eu sou novo na área de aprendizado profundo e, para mim, o primeiro passo foi ler artigos interessantes no site deeplearning.net. Em artigos sobre aprendizado profundo, Hinton e outros falam principalmente sobre como aplicá-lo a problemas de imagem. Alguém pode tentar me responder, pode ser...
Na maioria dos códigos de fluxo de tensão, o Adam Optimizer é usado com uma taxa de aprendizado constante de 1e-4(ou seja, 0,0001). O código geralmente tem a seguinte aparência: ...build the model... # Add the optimizer train_op = tf.train.AdamOptimizer(1e-4).minimize(cross_entropy) # Add the ops...
Existem redes neurais recorrentes e redes neurais recursivas. Ambos são geralmente indicados pela mesma sigla: RNN. Segundo a Wikipedia , o NN recorrente é de fato o NN recursivo, mas eu realmente não entendo a explicação. Além disso, não acho o que é melhor (com exemplos ou mais) para o...
Em um post recente de Rong Ge, foi dito que: Acredita-se que, para muitos problemas, incluindo a aprendizagem de redes profundas, quase todos os mínimos locais tenham um valor de função muito semelhante ao ideal global e, portanto, encontrar um mínimo local é bom o suficiente. De onde vem...
Nos últimos anos, as Redes Neurais Convolucionais (CNNs) tornaram-se o estado da arte em reconhecimento de objetos em visão computacional. Normalmente, uma CNN consiste em várias camadas convolucionais, seguidas por duas camadas totalmente conectadas. Uma intuição por trás disso é que as camadas...
Al Rahimi deu recentemente uma palestra muito provocativa no NIPS 2017, comparando o Machine Learning atual com a Alquimia. Uma de suas afirmações é que precisamos voltar aos desenvolvimentos teóricos, ter teoremas simples que provem resultados fundamentais. Quando ele disse isso, comecei a...
Estou tentando entender a parte da convolução das redes neurais convolucionais. Observando a figura a seguir: Não tenho problemas para entender a primeira camada de convolução, na qual temos 4 núcleos diferentes (de tamanho ), que convolvemos com a imagem de entrada para obter 4 mapas de...
Eu quero aprender redes neurais. Sou lingüista computacional. Conheço abordagens estatísticas de aprendizado de máquina e posso codificar em Python. Pretendo começar com seus conceitos e conhecer um ou dois modelos populares que podem ser úteis do ponto de vista da Linguística...
Descobri que o Imagenet e outras CNNs grandes usam camadas de normalização de resposta local. No entanto, não consigo encontrar tanta informação sobre eles. Quão importantes são e quando devem ser usados? Em http://caffe.berkeleyvision.org/tutorial/layers.html#data-layers : "A camada de...
Encontrei a unidade linear retificada (ReLU) elogiada em vários locais como uma solução para o problema do gradiente de fuga para redes neurais. Ou seja, usa-se max (0, x) como função de ativação. Quando a ativação é positiva, é óbvio que isso é melhor do que, digamos, a função de ativação...