Redes neurais artificiais (RNAs) são uma ampla classe de modelos computacionais vagamente baseados em redes neurais biológicas. Eles abrangem NNs de feedforward (incluindo NNs "profundos"), NNs convolucionais, NNs recorrentes etc.
Existe um método padrão e aceito para selecionar o número de camadas e o número de nós em cada camada em uma rede neural feed-forward? Estou interessado em maneiras automatizadas de construir redes
Ao treinar uma rede neural, que diferença faz para definir: tamanho do lote para e o número de iterações paraumaumaabbb vs. tamanho do lote em número de iterações emcccddd onde ?a b = c dumab=cd ab = cd Em outras palavras, assumindo que treinamos a rede neural com a mesma quantidade de...
Tenho certeza de que muitas pessoas responderão com links para 'deixe-me pesquisar no google por você', então quero dizer que tentei descobrir isso, por favor, perdoe minha falta de compreensão aqui, mas não consigo descobrir como o implementação prática de uma rede neural realmente funciona....
Estou usando Python Keras packagepara rede neural. Este é o link . É batch_sizeigual ao número de amostras de teste? Da Wikipedia, temos esta informação: No entanto, em outros casos, a avaliação do gradiente de soma pode exigir avaliações dispendiosas dos gradientes de todas as funções de soma....
Estou treinando uma rede neural, mas a perda de treinamento não diminui. Como posso consertar isso? Não estou perguntando sobre ajuste excessivo ou regularização. Estou perguntando como resolver o problema em que o desempenho da minha rede não melhora no conjunto de treinamento . Essa questão é...
O estado da arte da não linearidade é usar unidades lineares retificadas (ReLU) em vez da função sigmóide em redes neurais profundas. Quais são as vantagens? Sei que treinar uma rede quando o ReLU é usado seria mais rápido e com inspiração biológica, quais são as outras vantagens? (Ou seja, alguma...
Quais são as funções de custo comuns usadas na avaliação do desempenho de redes neurais? Detalhes (fique à vontade para pular o restante desta pergunta, minha intenção aqui é simplesmente fornecer esclarecimentos sobre a notação que as respostas podem usar para ajudá-las a serem mais...
Recentemente, tenho lido sobre aprendizagem profunda e estou confuso sobre os termos (ou digamos, tecnologias). Qual é a diferença entre Redes neurais convolucionais (CNN), Máquinas Boltzmann restritas (RBM) e Codificadores
Não vi a pergunta declarada precisamente nesses termos, e é por isso que faço uma nova pergunta. O que estou interessado em conhecer não é a definição de uma rede neural, mas entender a diferença real com uma rede neural profunda. Para mais contexto: eu sei o que é uma rede neural e como a...
Atualmente, estou fazendo o Udacity Deep Learning Tutorial. Na lição 3, eles falam sobre uma convolução 1x1. Essa convolução 1x1 é usada no Google Inception Module. Estou tendo problemas para entender o que é uma convolução 1x1. Eu também vi este post de Yann Lecun. Alguém poderia gentilmente me...
No contexto das redes neurais, qual é a diferença entre a taxa de aprendizado e a queda de peso?
Muitos livros e tutoriais de redes neurais gastam muito tempo com o algoritmo de retropropagação, que é essencialmente uma ferramenta para calcular o gradiente. Vamos supor que estamos construindo um modelo com ~ 10K parâmetros / pesos. É possível executar a otimização usando alguns algoritmos de...
Em muitas bibliotecas de redes neurais, existem 'camadas de incorporação', como em Keras ou Lasagne . Não sei se entendi sua função, apesar de ler a documentação. Por exemplo, na documentação do Keras, ele diz: Transforme números inteiros positivos (índices) em vetores densos de tamanho fixo,...
Eu sou novo no aprendizado de máquina e tenho tentado descobrir como aplicar redes neurais à previsão de séries temporais. Encontrei recursos relacionados à minha consulta, mas ainda estou um pouco perdido. Eu acho que uma explicação básica sem muitos detalhes ajudaria. Digamos que tenho alguns...
A função de ativação tanh é: tanh(x)=2⋅σ(2x)−1tanh(x)=2⋅σ(2x)−1tanh \left( x \right) = 2 \cdot \sigma \left( 2 x \right) - 1 Onde , a função sigmóide, é definida como: .σ(x)σ(x)\sigma(x) σ(x)=ex1+exσ(x)=ex1+ex\sigma(x) = \frac{e^x}{1 + e^x} Questões: Realmente importa entre usar essas duas...
Nos últimos anos, as redes neurais convolucionais (ou talvez as redes neurais profundas em geral) tornaram-se cada vez mais profundas, com redes de ponta passando de 7 camadas ( AlexNet ) a 1000 camadas ( Redes Residuais) no espaço de 4 anos. A razão por trás do aumento no desempenho de uma rede...
Uma época em descida de gradiente estocástico é definida como uma única passagem pelos dados. Para cada minibatch SGD, amostras são coletadas, o gradiente calculado e os parâmetros atualizados. Na configuração de época, as amostras são coletadas sem substituição.kkk Mas isso parece desnecessário....
Acabo de ouvir que é uma boa ideia escolher pesos iniciais de uma rede neural no intervalo , onde é o número de entradas para um dado neurônio. Supõe-se que os conjuntos sejam normalizados - média 0, variação 1 (não sei se isso importa).(−1d√,1d√)(−1d,1d)(\frac{-1}{\sqrt d} , \frac{1}{\sqrt...
As redes neurais recorrentes diferem das "regulares" pelo fato de terem uma camada de "memória". Devido a essa camada, as NNs recorrentes devem ser úteis na modelagem de séries temporais. No entanto, não sei se entendi corretamente como usá-los. Digamos que possuo as seguintes séries temporais (da...
Existe alguma orientação geral sobre onde colocar camadas de dropout em uma rede