Esta pergunta já tem respostas aqui : Como a mudança na função de custo pode ser positiva? (1 resposta) O que devo fazer quando minha rede neural não aprende? (5 respostas) Fechado no mês passado . Estou treinando um modelo (Rede Neural Recorrente) para...
Para um modelo linear , o termo de retração é sempre .y= β0 0+ x β+ εy=β0+xβ+εy=\beta_0+x\beta+\varepsilonP( β)P(β)P(\beta) Qual é o motivo pelo qual não termo de viés (interceptação) ? Devemos reduzir o termo de viés nos modelos de redes neurais?β0 0β0
Gostaria de saber se existe um código para treinar uma rede neural convolucional para fazer a classificação de séries temporais. Eu vi alguns artigos recentes ( http://www.fer.unizg.hr/_download/repository/KDI-Djalto.pdf ), mas não tenho certeza se existe algo ou se eu mesmo o...
Aqui, dê uma olhada: Você pode ver exatamente onde os dados de treinamento terminam. Os dados de treinamento vão de a 1 .−1−1-1111 Usei Keras e uma rede densa 1-100-100-2 com ativação tanh. Calculo o resultado de dois valores, peq como p / q. Dessa forma, posso obter qualquer tamanho de número...
Essencialmente, minha pergunta é que, nos Perceptrons multicamadas, os perceptrons são usados com uma função de ativação sigmóide. De modo que na regra de actualização y é calculado comoy^y^\hat{y} y^=11+exp(−wTxi)y^=11+exp(−wTxi)\hat{y} = \frac{1}{1+\exp(-\mathbf{w}^T\mathbf{x}_i)} Como esse...
É frequentemente mencionado que as unidades lineares retificadas (ReLU) substituíram as unidades softplus porque são lineares e mais rápidas de calcular. O softplus ainda tem a vantagem de induzir esparsidade ou isso é restrito à ReLU? A razão pela qual pergunto é que me pergunto sobre as...
Eu estava lendo o documento de normalização em lote (BN) (1) e não entendia a necessidade de usar médias móveis para rastrear a precisão do modelo e, mesmo se eu aceitasse que era a coisa certa a fazer, não entendo o que eles estão fazendo exatamente. Para meu entendimento (o que posso estar...
Em termos de linguagem da rede neural (y = Peso * x + viés), como eu saberia quais variáveis são mais importantes que outras? Eu tenho uma rede neural com 10 entradas, uma camada oculta com 20 nós e uma camada de saída que possui um nó. Não sei como saber quais variáveis de entrada são mais...
Eu tenho um modelo de rede neural profunda e preciso treiná-lo no meu conjunto de dados, que consiste em cerca de 100.000 exemplos, meus dados de validação contêm cerca de 1000 exemplos. Como leva tempo para treinar cada exemplo (cerca de 0,5s para cada exemplo) e para evitar o excesso de ajustes,...
Estou trabalhando na classificação do estágio do sono. Li alguns artigos de pesquisa sobre esse tópico, muitos deles usavam SVM ou método de conjunto. É uma boa idéia usar a rede neural convolucional para classificar o sinal de EEG unidimensional? Eu sou novo nesse tipo de trabalho. Perdoe-me se...
Por que a retropropagação não funciona quando você inicializa todo o peso com o mesmo valor (por exemplo, 0,5), mas funciona bem quando dados números aleatórios? O algoritmo não deveria calcular o erro e trabalhar a partir daí, apesar de os pesos serem inicialmente os
Estou lidando com um modelo linear hierárquico bayesiano , aqui a rede que o descreve. YYY representa as vendas diárias de um produto em um supermercado (observado). XXX é uma matriz conhecida de regressores, incluindo preços, promoções, dia da semana, clima e feriados. SSS é o nível de...
Estou treinando uma rede neural (detalhes não importantes) em que os dados de destino são um vetor de ângulos (entre 0 e 2 * pi). Estou procurando conselhos sobre como codificar esses dados. Aqui está o que estou tentando atualmente (com sucesso limitado): 1) Codificação 1-de-C: divido os ângulos...
Estou tentando entender diferentes arquiteturas de redes neurais recorrentes (RNN) a serem aplicadas a dados de séries temporais e estou ficando um pouco confuso com os diferentes nomes que são frequentemente usados ao descrever RNNs. A estrutura da Memória de Longo Prazo (LSTM) e da Unidade...
A aplicação da função softmax em um vetor produzirá "probabilidades" e valores entre e . 000111 Mas também podemos dividir cada valor pela soma do vetor e isso produzirá probabilidades e valores entre e .000111 Eu li a resposta aqui, mas diz que a razão é porque é diferenciável, embora Ambas as...
No treinamento de redes neurais profundas e rasas, por que os métodos de gradiente (por exemplo, descida de gradiente, Nesterov, Newton-Raphson) são comumente usados, em oposição a outras metaheurísticas? Por metaheurísticas, refiro-me a métodos como recozimento simulado, otimização de colônias de...
Eu tenho uma rede neural configurada para prever algo em que a variável de saída é ordinal. Descreverei abaixo usando três saídas possíveis A <B <C. É bastante óbvio como usar uma rede neural para gerar dados categóricos: a saída é apenas um softmax da última camada (geralmente totalmente...
Na implementação do ResNet do Tensorflow , acho que eles usam o inicializador de escala de variância, também acho que o inicializador de xavier é popular. Não tenho muita experiência nisso, o que é melhor na
Eu tenho usado o theano para experimentar LSTMs e queria saber quais métodos de otimização (SGD, Adagrad, Adadelta, RMSprop, Adam, etc) funcionam melhor para LSTMs? Existem trabalhos de pesquisa sobre esse assunto? Além disso, a resposta depende do tipo de aplicativo para o qual estou usando o...
Fiquei um pouco confuso sobre o algoritmo de retropropagação usado no perceptron multicamada (MLP). O erro é ajustado pela função de custo. Na retropropagação, estamos tentando ajustar o peso das camadas ocultas. O erro de saída que posso entender, isto é, e = d - y[Sem os subscritos]. As...