Como codificar a data e hora de um evento para uma rede neural? Não tenho uma série temporal contínua, mas alguns eventos com data e hora, e analiso algum tipo de interesse. Esse interesse difere entre manhãs e tardes, e entre dias úteis, e entre verão e inverno, e antes do Natal e da Páscoa, e...
Antecedentes: Estou estudando o capítulo 6 do Deep Learning de Ian Goodfellow e Yoshua Bengio e Aaron Courville. Na seção 6.2.2.2 (páginas 182 de 183, que pode ser vista aqui ), é motivado o uso de sigmóide na saída .P(y=1|x)P(y=1|x)P(y=1|x) Para resumir alguns dos materiais que deixe ser um...
Um estranho para o campo ML / DL; iniciou o curso Udacity Deep Learning, baseado no Tensorflow; fazendo a tarefa 3, problema 4; tentando ajustar a taxa de aprendizado com a seguinte configuração: Tamanho do lote 128 Número de etapas: o suficiente para preencher duas épocas Tamanhos de camadas...
No aprendizado de máquina (para problemas de regressão), geralmente vejo o erro médio quadrático (MSE) ou o erro médio absoluto (MAE) sendo usado como a função de erro para minimizar (mais o termo de regularização). Gostaria de saber se há situações em que o uso do coeficiente de correlação seria...
O recente progresso nas redes neurais é resumido por uma sequência de novas arquiteturas caracterizadas principalmente por sua crescente complexidade de projeto. De LeNet5 (1994) a AlexNet (2012), Overfeat (2013) e GoogleLeNet / Inception (2014) e assim por diante ... Existe alguma tentativa de...
Eu estava lendo o artigo Deep Residual Learning for Image Reconhecimento e tive dificuldades em entender com 100% de certeza o que um bloco residual implica computacionalmente. Lendo o trabalho deles, eles têm a figura 2: que ilustra o que um bloco residual é suposto ser. O cálculo de um bloco...
Quero saber a diferença entre regressão linear em uma análise regular de aprendizado de máquina e regressão linear no cenário de "aprendizado profundo". Quais algoritmos são usados para regressão linear em um ambiente de aprendizado
Eu configurei uma pesquisa de grade para um monte de parâmetros. Estou tentando encontrar os melhores parâmetros para uma rede neural de Keras que faz classificação binária. A saída é 1 ou 0. Existem cerca de 200 recursos. Quando fiz uma pesquisa na grade, recebi vários modelos e seus parâmetros. O...
Estou lutando para fazer a conexão matemática entre uma rede neural e um modelo gráfico. Nos modelos gráficos, a ideia é simples: a distribuição de probabilidade é fatorada de acordo com as cliques no gráfico, com os potenciais sendo geralmente da família exponencial. Existe um raciocínio...
Ao implementar um autoencoder com rede neural, a maioria das pessoas usará sigmóide como função de ativação. Podemos usar ReLU? (Como a ReLU não tem limite no limite superior, basicamente significa que a imagem de entrada pode ter um pixel maior que 1, diferente dos critérios restritos para o...
Suponha que eu queira aprender um classificador que use um vetor de números como entrada e dê um rótulo de classe como saída. Meus dados de treinamento consistem em um grande número de pares de entrada e saída. No entanto, quando chego ao teste de alguns dados novos, esses dados geralmente são...
Como os mapas de ativação em uma determinada camada são conectados aos filtros dessa camada? Não estou perguntando sobre como fazer uma operação convolucional entre o filtro e o mapa de ativação, estou perguntando sobre o tipo de conectividade que esses dois possuem. Por exemplo, digamos que você...
Eu quero usar o aprendizado profundo para treinar uma detecção binária de face / sem face, que perda devo usar, acho que é SigmoidCrossEntropyLoss ou perda de dobradiça . Está certo, mas também gostaria de usar o softmax, mas com apenas duas
Estou tendo problemas para entender o modelo de ignorar o algoritmo Word2Vec. Em palavras-chave contínuas, é fácil ver como as palavras de contexto podem "se encaixar" na Rede Neural, uma vez que você as calcula a média depois de multiplicar cada uma das representações de codificação quentes com a...
Estou interessado em (Deep) Reinforcement Learning (RL) . Antes de mergulhar neste campo, devo fazer um curso em Teoria dos Jogos (GT) ? Como o GT e o RL estão
Recentemente, vimos o surgimento da Rede Neural Residual, em que cada camada consiste em um módulo computacional e uma conexão de atalho que preserva a entrada na camada, como mostra a saída da i-ésima camada: A rede permite extrair recursos residuais e permite uma profundidade mais profunda, ao...
Aqui está algo que eu li no livro de Ian Goodfellow, Deep Learning . No contexto de redes neurais ", a penalidade da norma de parâmetro L2 é comumente conhecida como decaimento de peso. Essa estratégia de regularização aproxima os pesos da origem [...]. Em geral, podemos regularizar os parâmetros...
Eu não acho que possa haver uma resposta para todos os modelos de aprendizado profundo. Quais dos modelos de aprendizagem profunda são paramétricos e quais não paramétricos e por
Eu estava implementando um artigo bastante popular " EXPLICANDO E APRENDENDO EXEMPLOS ADVERSÁRIOS " e, no artigo, ele treina uma função objetiva adversária J '' (θ) = αJ (θ) + (1 - α) J '(θ). Ele trata α como um hiperparâmetro. α pode ser 0,1, 0,2, 0,3, etc. Independentemente deste artigo...
Recentemente, tomei consciência de que métodos "sem probabilidade" são analisados na literatura. No entanto, não sei ao certo o que significa um método de inferência ou otimização sem probabilidade . No aprendizado de máquina, o objetivo geralmente é maximizar a probabilidade de alguns...