Eu estava lendo o documento de normalização em lote (BN) (1) e não entendia a necessidade de usar médias móveis para rastrear a precisão do modelo e, mesmo se eu aceitasse que era a coisa certa a fazer, não entendo o que eles estão fazendo exatamente. Para meu entendimento (o que posso estar...
No treinamento de redes neurais profundas e rasas, por que os métodos de gradiente (por exemplo, descida de gradiente, Nesterov, Newton-Raphson) são comumente usados, em oposição a outras metaheurísticas? Por metaheurísticas, refiro-me a métodos como recozimento simulado, otimização de colônias de...
Eu tenho um modelo de rede neural profunda e preciso treiná-lo no meu conjunto de dados, que consiste em cerca de 100.000 exemplos, meus dados de validação contêm cerca de 1000 exemplos. Como leva tempo para treinar cada exemplo (cerca de 0,5s para cada exemplo) e para evitar o excesso de ajustes,...
Na implementação do ResNet do Tensorflow , acho que eles usam o inicializador de escala de variância, também acho que o inicializador de xavier é popular. Não tenho muita experiência nisso, o que é melhor na
Hoje em dia, com toda a mídia falando e falando sobre aprendizado profundo, eu li algumas coisas básicas. Acabei de descobrir que é apenas mais um método de aprendizado de máquina para aprender padrões a partir dos dados. Mas minha pergunta é: onde e por que esse método brilha? Por que toda a...
Entendo as camadas convolucionais e de pool, mas não vejo o motivo de uma camada totalmente conectada nas CNNs. Por que a camada anterior não está diretamente conectada à camada de
Entendo a estrutura básica do autoencoder variacional e do autoencoder normal (determinístico) e a matemática por trás deles, mas quando e por que eu preferiria um tipo de autoencoder ao outro? Tudo o que posso pensar é que a distribuição prévia de variáveis latentes do autoencoder variacional...
Estou curioso para saber o quão importante é o nó de viés para a eficácia das redes neurais modernas. Eu posso entender facilmente que isso pode ser importante em uma rede superficial com apenas algumas variáveis de entrada. No entanto, as redes neurais modernas, como no aprendizado profundo,...
Existe alguma diferença entre 'transferência de aprendizado' e 'adaptação de domínio'? Não conheço o contexto, mas entendo que temos um conjunto de dados 1 e o treinamos, após o qual temos outro conjunto de dados 2 para o qual queremos adaptar nosso modelo sem precisar treinar novamente do zero,...
As redes neurais convolucionais mais comuns contêm camadas de pooling para reduzir as dimensões dos recursos de saída. Por que não consegui a mesma coisa simplesmente aumentando o passo da camada convolucional? O que torna a camada de pool
Meus professores de física na pós-graduação, assim como o Nobel Feynman, sempre apresentavam o que chamavam de modelos de brinquedos para ilustrar conceitos e métodos básicos em física, como o oscilador harmônico, o pêndulo, o pião e a caixa preta. Quais modelos de brinquedos são usados para...
Muitos tutoriais online falam sobre descida de gradiente e quase todos usam um tamanho de etapa fixo (taxa de aprendizado ). Por que não há uso de pesquisa de linha (como pesquisa de linha de retorno ou pesquisa de linha
Definimos uma época como tendo passado por todas as amostras de treinamento disponíveis, e o tamanho do minilote como o número de amostras sobre as quais calculamos a média para encontrar as atualizações de pesos / desvios necessários para descer o gradiente. Minha pergunta é se devemos extrair...
Estou procurando artigos ou textos que comparem e discutam (empiricamente ou teoricamente): Algoritmos de árvores de Boosting e Decision , como Random Forests ou AdaBoost , e GentleBoost, aplicados a árvores de decisão. com Métodos de aprendizado profundo, como Máquinas Boltzmann Restritas ,...
Se você tiver meia página para explicar o abandono , como você procederia? Qual é a lógica por trás dessa
Podemos fornecer imagens com tamanho variável como entrada para uma rede neural convolucional para detecção de objetos? Se possível, como podemos fazer isso? Mas se tentarmos cortar a imagem, perderemos uma parte da imagem e se tentarmos redimensionar, a clareza da imagem será perdida. Isso...
Eu tenho algumas perguntas que estão me confundindo em relação à CNN. 1) Os recursos extraídos usando a CNN são invariáveis em escala e rotação? 2) Os Kernels que usamos para convolução com nossos dados já estão definidos na literatura? que tipo desses núcleos são? é diferente para cada...
Ao aprender a rede neural convolucional, tenho perguntas sobre a figura a seguir. 1) C1 na camada 1 possui 6 mapas de características, isso significa que existem seis núcleos convolucionais? Cada kernel convolucional é usado para gerar um mapa de recursos com base na entrada. 2) S1 na camada 2...
Estou treinando uma rede neural usando i) SGD e ii) Adam Optimizer. Ao usar o SGD normal, recebo uma curva suave de perda de treinamento versus iteração , como visto abaixo (o vermelho). No entanto, quando usei o Adam Optimizer, a curva de perda de treinamento tem alguns picos. Qual é a explicação...
Antecedentes: Muitas pesquisas modernas nos últimos ~ 4 anos (pós- alexnet ) parecem ter deixado de usar o pré-treinamento generativo para redes neurais para obter resultados de classificação de ponta. Por exemplo, os principais resultados para o mnist aqui incluem apenas 2 artigos dos 50...