Se processarmos, digamos, 10 exemplos em um lote, entendo que podemos somar a perda para cada exemplo, mas como a retropropagação funciona em relação à atualização dos pesos para cada exemplo? Por exemplo: Exemplo 1 -> perda = 2 Exemplo 2 -> perda = -2 Isso resulta em uma perda média de...
Um estranho para o campo ML / DL; iniciou o curso Udacity Deep Learning, baseado no Tensorflow; fazendo a tarefa 3, problema 4; tentando ajustar a taxa de aprendizado com a seguinte configuração: Tamanho do lote 128 Número de etapas: o suficiente para preencher duas épocas Tamanhos de camadas...
Estou seguindo o tutorial do Tensorflow mnist ( https://github.com/tensorflow/tensorflow/blob/master/tensorflow/examples/tutorials/mnist/mnist_softmax.py ). O tutorial usa tf.train.Optimizer.minimize(especificamente tf.train.GradientDescentOptimizer). Não vejo nenhum argumento sendo passado em...
No recente artigo da WaveNet , os autores se referem ao seu modelo como tendo camadas empilhadas de convoluções dilatadas. Eles também produzem os gráficos a seguir, explicando a diferença entre convoluções 'regulares' e convoluções dilatadas. As convoluções regulares se parecem com Esta é uma...
Os recursos aleatórios de Fourier fornecem aproximações às funções do kernel. Eles são usados para vários métodos de kernel, como SVMs e processos gaussianos. Hoje, tentei usar a implementação do TensorFlow e obtive valores negativos para metade dos meus recursos. Pelo que entendi, isso não...
Estou tentando treinar uma rede neural profunda para classificação, usando propagação de volta. Especificamente, estou usando uma rede neural convolucional para classificação de imagens, usando a biblioteca Tensor Flow. Durante o treinamento, estou passando por um comportamento estranho e estou me...
Ao ler os documentos de segmentação semântica, bem como suas implementações correspondentes, descobri que algumas abordagens usam softmax enquanto outras usam sigmoide para a rotulação em nível de pixel. Por exemplo, com relação ao papel u-net , a saída é um mapa de recursos com dois canais. Eu...
Exemplos: Eu tenho uma frase na descrição do trabalho: "Java senior engineer in UK". Eu quero usar um modelo de aprendizado profundo para prever em duas categorias: English e IT jobs. Se eu usar o modelo de classificação tradicional, ele poderá prever apenas 1 rótulo com softmaxfunção na última...
https://www.tensorflow.org/ Todos os projetos do TensorFlow que eu vi no GitHub implementam algum tipo de modelo de rede neural. Dado que o TensorFlow é uma melhoria em relação ao DAG (não é mais acíclico), eu queria saber se algumas deficiências inerentes o tornam inadequado para o modelo geral...
Gostaria de entender melhor por que o LSTM pode se lembrar de informações por um período mais longo do que a rede neural recorrente simples (baunilha / simples), refazendo um experimento do artigo Aprender Dependências de Longo Prazo com Descida Gradiente é Difícil por Bengio et al. 1994 . Veja as...
Não sei ao certo o que entendi da documentação oficial, que diz: Retorna: um par (saídas, estado) em que: outputs: O tensor de saída RNN. Se time_major == False(default), este será um Tensor em forma: [batch_size, max_time, cell.output_size]. Se time_major == True, este será um Tensor...
Fechadas. Esta questão está fora de tópico . No momento, não está aceitando respostas. Deseja melhorar esta pergunta? Atualize a pergunta para que ela esteja no tópico de Validação cruzada. Fechado há 2 anos . O que isto significa? Epoch...
Comecei a seguir os tutoriais do TensorFlow aqui e tenho uma pequena pergunta sobre os cálculos de entropia cruzada. Na maioria dos lugares que vi entropia cruzada calculada usando o log da base 2, mas o tf.log é a base e. Sob quais condições o uso de uma base de log seria preferido em relação à...
Eu tenho uma compreensão decente de redes neurais, propagação traseira e regra de cadeia, no entanto, estou lutando para entender a diferenciação automática. A seguir, consulte a diferenciação automática fora do contexto da propagação de retorno: Como a diferenciação automática calcula o...