Estou tentando entender melhor os campos receptivos da CNN. Para fazer isso, gostaria de calcular o campo receptivo de cada neurônio no LeNet. Para um MLP normal, é bastante fácil (consulte http://deeplearning.net/tutorial/lenet.html#sparse-connectivity ), mas é mais difícil calcular o campo...
Na CNN, aprenderemos filtros para produzir um mapa de características na camada convolucional. No Autoencoder, a única unidade oculta de cada camada pode ser considerada como filtro. Qual a diferença entre os filtros aprendidos nessas duas
No artigo da rede neural totalmente convolucional , os autores mencionam tanto o treinamento inteligente quanto o treinamento totalmente convolucional. Meu entendimento para a construção do conjunto de treinamento é o seguinte: Dada uma M*Mimagem, extraia as sub-imagens com N*N, where ( N<M)....
É bastante intuitivo que a maioria das arquiteturas / topologias de redes neurais não seja identificável. Mas quais são alguns resultados bem conhecidos no campo? Existem condições simples que permitem / impedem a identificação? Por exemplo, todas as redes com funções de ativação não lineares e...
Eu queria treinar uma rede com não linearidades que sofrem com o desaparecimento (ou o problema do gradiente explodindo, embora principalmente o desaparecimento). Sei que a maneira padrão (atual) é usar a normalização de lote 1 [BN] 1 ou simplesmente abandonar a não linearidade e usar as unidades...
Em geral, devo treinar minha rede neural com menos neurônios, para que ela tenha menos neurônios ReLU mortos? Eu li opiniões conflitantes sobre ReLUs mortos. Algumas fontes dizem que ReLUs mortos são bons porque incentivam a escarsidade. Outros dizem que são ruins porque as RELUs mortas estão...
Eu fiz uma rede neural convolucional e queria verificar se meus gradientes estão sendo calculados corretamente usando a verificação numérica de gradiente. A questão é, quão perto está o suficiente? Minha função de verificação apenas cospe a derivada calculada, a derivada numericamente aproximada,...
Eu tenho lido uma pilha de papéis sobre redes convolucionais e aprendizado por reforço. Lembro-me de ver um papel importante com uma forma não retangular da camada de convolução (a forma verde neste desenho bobo). Mas agora não consigo encontrá-lo. Pode ter sido algo semelhante ao artigo...
A rede neural conhecida como " U-Net " (Ronneberger, Fischer e Brox 2015) foi uma técnica proeminente no recente concurso de Segmentação de Nervos por Ultrassom da Kaggle , onde pontuações altas foram atribuídas a algoritmos que criaram máscaras de pixel com alto grau de sobreposição. as regiões...
Eu estava lendo o documento de normalização em lote (BN) (1) e dizia: Para isso, uma vez treinada a rede, usamos a normalização x^=x−E[x]Var[x]+ϵ−−−−−−−−√x^=x−E[x]Var[x]+ϵ\hat{x} = \frac{x - E[x]}{ \sqrt{Var[x] + \epsilon}}usando a população , em vez de estatísticas de minilote. minha pergunta...
Alguém sabe se existe uma generalização da rede convolucional que funciona com tensores de entrada 4D em vez de 3D. Geralmente, pelo que entendi, os filtros de rede convolucionais aceitam uma certa extensão de coordenadas x, y por filtro e toda a profundidade dessa extensão também. Eu tenho uma...
Estou interessado em entender qual arquitetura de rede neural é atualmente o estado da arte (às vezes abreviado como "SOTA") com relação às tarefas de classificação de imagem padrão, como MNIST, STLN-10 e CIFAR. Isso é desafiador porque novos resultados são publicados com frequência e pode ser...
Ao ler sobre a transformação da camada totalmente conectada em camada convolucional, publicada em http://cs231n.github.io/convolutional-networks/#convert . Apenas me sinto confuso com os dois comentários a seguir: Acontece que essa conversão nos permite "deslizar" o ConvNet original de maneira...
Estou tentando implementar o documento Image Style Transfer usando redes neurais convolucionais . Na seção 2 - Representações de imagens profundas, os autores mencionam a seguinte técnica de normalização de peso: Normalizamos a rede dimensionando os pesos de forma que a ativação média de cada...