Use para perguntas sobre retropropagação, que é comumente usado no treinamento de redes neurais em conjunto com um método de otimização, como gradiente descendente.
Esta é uma pequena questão conceitual que me incomoda há um tempo: como podemos retropropagar através de uma camada de pool máximo em uma rede neural? Me deparei com camadas de pool máximo durante o tutorial da biblioteca nn do Torch 7. A biblioteca abstrai o cálculo do gradiente e as passagens...
Eu tenho usado redes neurais por um tempo agora. No entanto, uma coisa com a qual luto constantemente é a seleção de um otimizador para treinar a rede (usando backprop). O que eu costumo fazer é apenas começar com um (por exemplo, SGD padrão) e, em seguida, tentar outros de maneira aleatória....
Estou tendo alguma dificuldade em derivar a propagação com a ReLU e fiz algum trabalho, mas não tenho certeza se estou no caminho certo. Função de custo: 12(y−y^)212(y−y^)2\frac{1}{2}(y-\hat y)^2em queyyyé o valor real, e y é um valor previsto. Suponha também quex> 0 sempre.y^y^\hat...
Superajustei meu LSTM se eu treiná-lo através da janela deslizante? Por que as pessoas parecem não usá-lo para LSTMs? Para um exemplo simplificado, suponha que tenhamos de prever a sequência de caracteres: A B C D E F G H I J K L M N O P Q R S T U V W X Y Z É ruim (ou melhor?) Se eu continuar...
Eu tenho o seguinte CNN: Começo com uma imagem de entrada do tamanho 5x5 Em seguida, aplico a convolução usando o kernel 2x2 e stride = 1, que produz um mapa de recursos do tamanho 4x4. Em seguida, aplico o pool máximo 2x2 com stride = 2, que reduz o mapa de recursos para o tamanho 2x2. Então...
Eu tenho uma pequena sub-pergunta a esta pergunta . Entendo que, quando se propaga de volta através de uma camada de pool máximo, o gradiente é roteado de volta de uma maneira que o neurônio na camada anterior, que foi selecionada como max, obtém todo o gradiente. O que eu não tenho 100% de...
Eu estava tentando implementar uma rede neural do zero para entender a matemática por trás dela. Meu problema está completamente relacionado à retropropagação quando adotamos derivada em relação ao viés) e deduzi todas as equações usadas na retropropagação. Agora, toda equação está de acordo com o...
Estou tentando descobrir quantos pesos e preconceitos são necessários para a CNN. Digamos que eu tenho uma imagem (3, 32, 32) e quero aplicar um filtro (32, 5, 5). Para cada mapa de recursos, tenho pesos 5x5, portanto, devo ter 3 x (5x5) x 32 parâmetros. Agora eu preciso adicionar o viés. Eu...
Eu tenho dois tensores a:[batch_size, dim] b:[batch_size, dim]. Quero fazer um produto interno para cada par do lote, gerando c:[batch_size, 1], onde c[i,0]=a[i,:].T*b[i,:].
Vamos supor que estamos usando um tamanho de lote de 100 amostras para aprender. Assim, em cada lote, o peso de cada neurônio (e viés, etc.) está sendo atualizado adicionando menos a taxa de aprendizado * o valor médio de erro que encontramos usando as 100 amostras * a derivada da função de erro...
É um fato bem conhecido que uma rede de uma camada não pode prever a função xor, uma vez que não é linearmente separável. Tentei criar uma rede de duas camadas, usando a função sigmoide logística e backprop, para prever xor. Minha rede possui 2 neurônios (e um viés) na camada de entrada, 2...
Recentemente, fiz uma lição de casa em que tive que aprender um modelo para a classificação de 10 dígitos do MNIST. O HW tinha algum código de andaime e eu deveria trabalhar no contexto desse código. Meu dever de casa funciona / passa nos testes, mas agora estou tentando fazer tudo do zero (minha...
Eu posso ver dois motivos para usar Gradientes Sintéticos na RNN: Para acelerar o treinamento, corrigindo imediatamente cada camada com o gradiente previsto Ser capaz de aprender sequências mais longas Eu vejo problemas com os dois. Observe que eu realmente gosto de gradientes sintéticos...
Estou escrevendo meu próprio algoritmo de treinamento, mas não sei como definir o peso do viés. Preciso definir viés em qualquer camada? O peso do viés deve ser atualizado em todas as camadas?
ReLU é uma função de ativação definida como h=max(0,a)h=max(0,a)h = \max(0, a)onde .a=Wx+ba=Wx+ba = Wx + b Normalmente, treinamos redes neurais com métodos de primeira ordem, como SGD, Adam, RMSprop, Adadelta ou Adagrad. A retropropagação em métodos de primeira ordem requer derivada de primeira...
A imagem mostra uma camada típica em algum lugar da rede feed forward: a(k)iai(k)a_i^{(k)} é o valor de ativação do neurônio na camada .ithithi^{th}kthkthk^{th} W(k)ijWij(k)W_{ij}^{(k)} é o peso que liga neurónio na camada para a neurónio na