A ideia por trás da Rede Neural Recorrente (RNN) é clara para mim. Entendo da seguinte maneira: Temos uma sequência de observações ( ) (ou, em outras palavras, séries temporais multivariadas). Cada observação única é um vetor numérico dimensional. No modelo RNN, assumimos que a próxima observação é...
Estou usando o feed-forward NN. Eu entendo o conceito, mas minha pergunta é sobre pesos. Como você pode interpretá-los, ou seja, o que eles representam ou como podem ser destruídos (devido aos coeficientes de função)? Eu encontrei algo chamado "espaço de pesos", mas não tenho muita certeza do que...
Recentemente, vimos o surgimento da Rede Neural Residual, em que cada camada consiste em um módulo computacional e uma conexão de atalho que preserva a entrada na camada, como mostra a saída da i-ésima camada: A rede permite extrair recursos residuais e permite uma profundidade mais profunda, ao...
Eu estava lendo o documento de normalização em lote [1] e tinha uma seção em que é apresentado um exemplo, tentando mostrar por que a normalização deve ser feita com cuidado. Sinceramente, não consigo entender como o exemplo funciona e estou genuinamente muito curioso para entender que eles são tão...
Eu estava implementando um artigo bastante popular " EXPLICANDO E APRENDENDO EXEMPLOS ADVERSÁRIOS " e, no artigo, ele treina uma função objetiva adversária J '' (θ) = αJ (θ) + (1 - α) J '(θ). Ele trata α como um hiperparâmetro. α pode ser 0,1, 0,2, 0,3, etc. Independentemente deste artigo...
Aqui está algo que eu li no livro de Ian Goodfellow, Deep Learning . No contexto de redes neurais ", a penalidade da norma de parâmetro L2 é comumente conhecida como decaimento de peso. Essa estratégia de regularização aproxima os pesos da origem [...]. Em geral, podemos regularizar os parâmetros...
Pelo meu entendimento, as CNNs consistem em duas partes. A primeira parte (camadas conv / pool) que faz a extração do recurso e a segunda parte (camadas fc) que faz a classificação dos recursos. Como as redes neurais totalmente conectadas não são os melhores classificadores (ou seja, elas são...
A Análise de Componente Principal (PCA) elimina o ruído no conjunto de dados? Se o PCA não eliminar o ruído no conjunto de dados, o que realmente o PCA faz no conjunto de dados? Alguém pode me ajudar sobre esse
Tanto a função logística quanto o desvio padrão são geralmente indicados como . Vou usar e para o desvio padrão.σσ\sigmaσ(x)=1/(1+exp(−x))σ(x)=1/(1+exp(−x))\sigma(x) = 1/(1+\exp(-x))sss Eu tenho um neurônio logístico com uma entrada aleatória cuja média e desvio padrão eu conheço. Espero que a...
Ouvi falar um pouco sobre o uso de redes neurais para prever séries temporais. Como posso comparar, qual método para prever minhas séries temporais (dados diários de varejo) é melhor: auto.arima (x), ets (x) ou nnetar (x). Eu posso comparar auto.arima com ets por AIC ou BIC. Mas como posso...
Deste vídeo por Andrew Ng por volta das 5:00 Como são e ? De fato, o que significa? é obtido comparando com y, essa comparação não é possível para a saída de uma camada oculta,
Na tarefa de visão computacional, como a classificação de objetos, com as Redes Neurais Convolucionais (CNN), a rede oferece um desempenho atraente. Mas não tenho certeza de como configurar os parâmetros em camadas convolucionais. Por exemplo, uma imagem em escala de cinza ( 480x480), a primeira...
Eu tenho um conjunto de dados desequilibrado em uma tarefa de classificação binária, em que a quantidade positiva vs a quantidade negativa é 0,3% vs 99,7%. A diferença entre pontos positivos e negativos é enorme. Quando treino uma CNN com a estrutura usada no problema MNIST, o resultado do teste...
Estou analisando a função de custo de entropia cruzada encontrada neste tutorial : C= - 1n∑x[ yema + ( 1 - y) em( 1 - a ) ]C=−1n∑x[ylna+(1−y)ln(1−a)]C = -\frac{1}{n} \sum_x [y \ln a+(1−y)\ln(1−a)] O que exatamente estamos resumindo? É claro que está acima de , mas e não mudam com . Todos os 's...
Uma rede de mundo pequeno é um tipo de gráfico matemático no qual a maioria dos nós não é vizinhos um do outro, mas a maioria dos nós pode ser alcançada entre si por um pequeno número de saltos ou etapas. Especificamente, uma rede de mundo pequeno é definida como uma rede em que a distância...
Problemas de classificação com limites não lineares não podem ser resolvidos por um simples perceptron . O código R a seguir é para fins ilustrativos e baseia-se neste exemplo em Python): nonlin <- function(x, deriv = F) { if (deriv) x*(1-x) else 1/(1+exp(-x)) } X <- matrix(c(-3,1,...
Nos artigos AlphaGo Zero e AlphaZero do DeepMind , eles descrevem a adição de ruído Dirichlet às probabilidades anteriores de ações do nó raiz (estado da placa) na Monte Carlo Tree Search: Exploração adicional é obtida adicionando ruído Dirichlet às probabilidades anteriores no nó raiz ,...
Suponha que eu tenha uma rede neural simples de camada única, com n entradas e uma única saída (tarefa de classificação binária). Se eu definir a função de ativação no nó de saída como uma função sigmóide, o resultado será um classificador de Regressão Logística. Nesse mesmo cenário, se eu alterar...
No recente artigo da WaveNet , os autores se referem ao seu modelo como tendo camadas empilhadas de convoluções dilatadas. Eles também produzem os gráficos a seguir, explicando a diferença entre convoluções 'regulares' e convoluções dilatadas. As convoluções regulares se parecem com Esta é uma...
Estou tentando treinar uma rede neural profunda para classificação, usando propagação de volta. Especificamente, estou usando uma rede neural convolucional para classificação de imagens, usando a biblioteca Tensor Flow. Durante o treinamento, estou passando por um comportamento estranho e estou me...