Incapaz de descobrir a camada de incorporação linear na rede neural convolucional?

11

Eu tenho a arquitetura de rede do artigo "aprendendo similaridade de imagem refinada com classificação profunda" e não consigo descobrir como a saída da rede paralela três é mesclada usando a camada de incorporação linear. A única informação fornecida nesta camada, no artigo, é

Por fim, normalizamos os encaixes das três partes e os combinamos com uma camada de encaixe linear. A dimensão da incorporação é 4096.

Alguém pode me ajudar a descobrir o que exatamente o autor quer dizer quando está falando sobre essa camada?

neural-network deep-network A. Sam
fonte
É uma pena para mim que não haja resposta para esta pergunta. Porque estou com o mesmo problema. Você descobriu isso?
LKM
Eu não descobri a resposta, mas apenas concatenei a entrada das três partes e a passei por uma camada densa contendo 4096 nós.
A. Sam

Respostas:

1

Camada de incorporação linear deve ser apenas um nome sofisticado para uma camada densa sem ativação. 'Linear' significa que não há ativação (ativação é identidade). E a incorporação é um conceito para uma representação vetorial dos dados de entrada (por exemplo, incorporação de palavras). Acredito que os elementos do segundo vetor sejam simplesmente adicionados ao primeiro em termos de elementos.

Dmytro Prylipko
fonte
0

É mencionado no artigo:

Uma camada de normalização local normaliza o mapa de recursos em torno de uma vizinhança local para ter norma de unidade e média zero. Isso leva a mapas de recursos que são robustos às diferenças de iluminação e contraste.

Eles pegam cada parte do modelo e o normalizam separadamente.

Quanto a combiná-los, como você comentou, para capturar os recursos mais salientes, com uma representação subcompleta, não há necessidade de não linearidade.

Fadi Bakoura
fonte