A função de custo da rede neural é J(W,b)J(W,b)J(W,b) e é reivindicada como não convexa . Não entendo muito bem por que é assim, pois, como vejo, é bastante semelhante à função de custo da regressão logística, certo? Se não for convexa, a derivada de 2ª ordem ∂J∂W<0∂J∂W<0\frac{\partial...
Antes de tudo, percebi que, se preciso realizar previsões binárias, tenho que criar pelo menos duas classes executando uma codificação one-hot. Isso está correto? No entanto, a entropia cruzada binária é apenas para previsões com apenas uma classe? Se eu usasse uma perda de entropia cruzada...
O LSTM foi inventado especificamente para evitar o problema do gradiente de fuga. Supõe-se que isso seja feito com o Constant Error Carousel (CEC), que no diagrama abaixo (de Greff et al. ) Corresponde ao loop em torno da célula . (fonte: deeplearning4j.org ) E eu entendo que essa parte pode...
A codificação esparsa é definida como a aprendizagem de um conjunto excessivo de vetores básicos para representar vetores de entrada (<- por que queremos isso). Quais são as diferenças entre codificação esparsa e autoencoder? Quando usaremos a codificação esparsa e o
Eu li alguns artigos discutindo prós e contras de cada método, alguns argumentando que o GA não melhora nenhuma a solução ideal, enquanto outros mostram que é mais eficaz. Parece que o GA é geralmente preferido na literatura (embora a maioria das pessoas o modifique de alguma maneira para alcançar...
Todos eles parecem representar variáveis aleatórias pelos nós e (in) dependência através das bordas (possivelmente direcionadas). Estou especialmente interessado no ponto de vista de um
No curso de redes neurais e aprendizado profundo de Andrew Ng, sobre o Coursera, ele diz que usar é quase sempre preferível ao .tanhtanhtanhsigmoidsigmoidsigmoid A razão que ele dá é que as saídas usando centralizam em torno de 0 em vez de 0,5 da , e isso "torna o aprendizado para a próxima camada...
Alguém viu alguma literatura sobre pré-treinamento em redes neurais convolucionais profundas? Vi apenas pré-treinamento não supervisionado em máquinas de autoencoder ou boltzman
Eu sou novo na modelagem com redes neurais, mas consegui estabelecer uma rede neural com todos os pontos de dados disponíveis que se ajustam bem aos dados observados. A rede neural foi feita em R com o pacote nnet: require(nnet) ##33.8 is the highest value mynnet.fit <- nnet(DOC/33.80 ~ .,...
Eu tenho um conjunto de dados de streaming, exemplos estão disponíveis um de cada vez. Eu precisaria fazer uma classificação multi-classe neles. Assim que forneço um exemplo de treinamento para o processo de aprendizado, tenho que descartar o exemplo. Simultaneamente, também estou usando o modelo...
Como explicamos a diferença entre regressão logística e rede neural para um público que não tem formação em estatística?
Introdução Dentro de uma rede neural convolucional, geralmente temos uma estrutura / fluxo geral que se parece com isso: imagem de entrada (ou seja, um vetor 2D x) (A primeira camada convolucional (Conv1) começa aqui ...) envolva um conjunto de filtros ( w1) ao longo da imagem 2D (ou...
Eu estudo os LSTMs há um tempo. Eu entendo em alto nível como tudo funciona. No entanto, ao implementá-los usando o Tensorflow, notei que o BasicLSTMCell requer um número de unidades (ou seja num_units) parâmetro. A partir desta explicação minuciosa dos LSTMs, concluí que uma única unidade LSTM é...
Sou completamente novo em redes neurais, mas estou muito interessado em entendê-las. No entanto, não é nada fácil começar. Alguém poderia recomendar um bom livro ou qualquer outro tipo de recurso? Existe uma leitura obrigatória? Sou grato por qualquer tipo de
Eu tenho trabalhado em um problema de regressão em que a entrada é uma imagem e o rótulo é um valor contínuo entre 80 e 350. As imagens são de alguns produtos químicos após a reação. A cor que aparece indica a concentração de outro produto químico que resta, e é isso que o modelo deve produzir - a...
Há muito tempo os computadores conseguem jogar xadrez usando uma técnica de "força bruta", procurando até uma certa profundidade e depois avaliando a posição. O computador AlphaGo, no entanto, usa apenas uma RNA para avaliar as posições (ele não faz nenhuma pesquisa em profundidade até onde eu...
Por que usamos unidades lineares retificadas (ReLU) com redes neurais? Como isso melhora a rede neural? Por que dizemos que ReLU é uma função de ativação? A função de ativação softmax não é usada para redes neurais? Eu estou supondo que usamos ambos, ReLU e softmax, assim: neurônio 1 com saída...
Eu li esta página: http://neuralnetworksanddeeplearning.com/chap3.html e disse que a camada de saída sigmóide com entropia cruzada é bastante semelhante à camada de saída softmax com probabilidade logarítmica. o que acontece se eu usar sigmoid com probabilidade de log ou softmax com entropia...
Por que é perigoso inicializar pesos com zeros? Existe algum exemplo simples que demonstre
Qual é a diferença entre rede neural , rede bayesiana , árvore de decisão e redes de Petri , mesmo que todos sejam modelos gráficos e representem visualmente a relação