Deste vídeo por Andrew Ng por volta das 5:00 Como são e ? De fato, o que significa? é obtido comparando com y, essa comparação não é possível para a saída de uma camada oculta,
Na tarefa de visão computacional, como a classificação de objetos, com as Redes Neurais Convolucionais (CNN), a rede oferece um desempenho atraente. Mas não tenho certeza de como configurar os parâmetros em camadas convolucionais. Por exemplo, uma imagem em escala de cinza ( 480x480), a primeira...
Eu tenho um conjunto de dados desequilibrado em uma tarefa de classificação binária, em que a quantidade positiva vs a quantidade negativa é 0,3% vs 99,7%. A diferença entre pontos positivos e negativos é enorme. Quando treino uma CNN com a estrutura usada no problema MNIST, o resultado do teste...
Entendo que o pré-treinamento é usado para evitar alguns dos problemas do treinamento convencional. Se eu usar a retropropagação com, digamos, um autoencodificador, sei que vou ter problemas de tempo porque a retropropagação é lenta, e também que posso ficar preso no ótimo local e não aprender...
Eu queria saber se era possível treinar um SVM (digamos um linear, para facilitar as coisas) usando a retropropagação? Atualmente, estou em um obstáculo, porque só consigo pensar em escrever a saída do classificador como f( x ; θ , b ) = sgn ( θ ⋅ x - ( b + 1 ) ) = sgn ( g( x ; θ , b )...
Estou analisando a função de custo de entropia cruzada encontrada neste tutorial : C= - 1n∑x[ yema + ( 1 - y) em( 1 - a ) ]C=−1n∑x[ylna+(1−y)ln(1−a)]C = -\frac{1}{n} \sum_x [y \ln a+(1−y)\ln(1−a)] O que exatamente estamos resumindo? É claro que está acima de , mas e não mudam com . Todos os 's...
Problemas de classificação com limites não lineares não podem ser resolvidos por um simples perceptron . O código R a seguir é para fins ilustrativos e baseia-se neste exemplo em Python): nonlin <- function(x, deriv = F) { if (deriv) x*(1-x) else 1/(1+exp(-x)) } X <- matrix(c(-3,1,...
No recente artigo da WaveNet , os autores se referem ao seu modelo como tendo camadas empilhadas de convoluções dilatadas. Eles também produzem os gráficos a seguir, explicando a diferença entre convoluções 'regulares' e convoluções dilatadas. As convoluções regulares se parecem com Esta é uma...
Suponha que eu tenha uma rede neural simples de camada única, com n entradas e uma única saída (tarefa de classificação binária). Se eu definir a função de ativação no nó de saída como uma função sigmóide, o resultado será um classificador de Regressão Logística. Nesse mesmo cenário, se eu alterar...
Estou tentando treinar uma rede neural profunda para classificação, usando propagação de volta. Especificamente, estou usando uma rede neural convolucional para classificação de imagens, usando a biblioteca Tensor Flow. Durante o treinamento, estou passando por um comportamento estranho e estou me...
É possível treinar redes neurais para desenhar em determinado estilo? (Por isso, ele pega uma imagem e a redesenha no estilo para o qual foi treinada.) Existe alguma tecnologia aprovada para esse tipo de coisa? Eu sei sobre o algoritmo DeepArt. É bom preencher a imagem principal com certo padrão...
Eu sou novo em Keras e preciso de sua ajuda. Estou treinando uma rede neural em Keras e minha função de perda é a diferença ao quadrado entre a saída e o valor-alvo da rede. Eu quero otimizar isso usando a Descida de gradiente. Depois de passar por alguns links na rede, soube que existem 3 tipos...
Eu queria saber qual é a melhor maneira de inicializar o estado para LSTMs. Atualmente, eu apenas inicializo para todos os zeros. Realmente não consigo encontrar nada online sobre como inicializá-lo. Uma coisa que eu estava pensando em fazer é tornar o estado inicial um parâmetro treinável. Algum...
Nos artigos AlphaGo Zero e AlphaZero do DeepMind , eles descrevem a adição de ruído Dirichlet às probabilidades anteriores de ações do nó raiz (estado da placa) na Monte Carlo Tree Search: Exploração adicional é obtida adicionando ruído Dirichlet às probabilidades anteriores no nó raiz ,...
Existe alguma regra prática entre a profundidade de uma rede neural e a taxa de aprendizado? Tenho notado que quanto mais profunda a rede, menor a taxa de aprendizado. Se isso está correto, por que
Embora eu tenha feito alguma programação com máquinas de Boltzmann em uma aula de física, não estou familiarizado com a caracterização teórica deles. Por outro lado, conheço um pouco da teoria dos modelos gráficos (sobre os primeiros capítulos do livro de Lauritzen, Graphical Models ). Pergunta:...
Em termos da diferença entre rede neural e aprendizado profundo, podemos listar vários itens, como mais camadas incluídas, conjunto de dados massivo, hardware de computador poderoso para tornar possível o modelo complicado de treinamento. Além dessas, existem explicações mais detalhadas sobre a...
Uso RNN bidirecional para detectar um evento de ocorrência desequilibrada. A classe positiva é 100 vezes menos que a classe negativa. Embora nenhum uso de regularização eu possa obter 100% de precisão no conjunto de trens e 30% no conjunto de validação. Ativei a regularização de l2 e o resultado é...
Estou trabalhando em uma rede de convolução para reconhecimento de imagens e estava pensando se poderia inserir imagens de tamanhos diferentes (embora não muito diferentes). Neste projeto: https://github.com/harvardnlp/im2markup Eles dizem: and group images of similar sizes to facilitate...
Eu tenho um conjunto de dados contendo 34 colunas de entrada e 8 colunas de saída. Uma maneira de resolver o problema é pegar as 34 entradas e criar um modelo de regressão individual para cada coluna de saída. Gostaria de saber se esse problema pode ser resolvido usando apenas um modelo,...