Introdução
Dentro de uma rede neural convolucional, geralmente temos uma estrutura / fluxo geral que se parece com isso:
- imagem de entrada (ou seja, um vetor 2D
x
)
(A primeira camada convolucional (Conv1) começa aqui ...)
- envolva um conjunto de filtros (
w1
) ao longo da imagem 2D (ou seja, faça asz1 = w1*x + b1
multiplicações de produtos escalonados), ondez1
é 3D eb1
apresenta vieses. - aplique uma função de ativação (por exemplo, ReLu) para tornar
z1
não linear (por exemploa1 = ReLu(z1)
), ondea1
é 3D.
(A segunda camada convolucional (Conv2) começa aqui ...)
- envolva um conjunto de filtros ao longo das ativações recém-calculadas (ou seja, faça as
z2 = w2*a1 + b2
multiplicações de produtos escalonados), ondez2
é 3D eb2
é tendencioso. - aplique uma função de ativação (por exemplo, ReLu) para tornar
z2
não linear (por exemploa2 = ReLu(z2)
), ondea2
é 3D.
A questão
A definição do termo "mapa de características" parece variar de literatura para literatura. Concretamente:
- Para a camada convolutional 1, faz corresponde "mapa recurso" ao vetor de entrada
x
, ou o produto do ponto de saídaz1
, ou as ativações de saídaa1
, ou o "processo" conversãox
paraa1
, ou algo mais? - Da mesma forma, para a camada convolutional 2, faz "mapa recurso" corresponde ao ativações de entrada
a1
, ou o produto do ponto de saídaz2
, ou a ativação da saídaa2
, ou o "processo" conversãoa1
paraa2
, ou algo mais?
Além disso, é verdade que o termo "mapa de recursos" é exatamente o mesmo que "mapa de ativação"? (ou eles realmente significam duas coisas diferentes?)
Referências adicionais:
Trechos de redes neurais e aprendizado profundo - Capítulo 6 :
* A nomenclatura está sendo usada livremente aqui. Em particular, estou usando "mapa de recursos" para significar não a função calculada pela camada convolucional, mas a ativação dos neurônios ocultos que saem da camada. Esse tipo de abuso leve da nomenclatura é bastante comum na literatura de pesquisa.
Trechos de Visualização e compreensão de redes convolucionais de Matt Zeiler :
Neste artigo, apresentamos uma técnica de visualização que revela os estímulos de entrada que excitam os mapas de recursos individuais em qualquer camada do modelo. [...] Nossa abordagem, por outro lado, fornece uma visão não paramétrica da invariância, mostrando quais padrões do conjunto de treinamento ativam o mapa de recursos. [...] uma operação de contraste local que normaliza as respostas nos mapas de recursos. [...] Para examinar uma determinada ativação de convnet, definimos todas as outras ativações na camada para zero e passamos os mapas de recursos como entrada para a camada deconvnet anexada. [...] O convnet usa não linearidades reais, que retificam os mapas de recursos, garantindo assim que os mapas de recursos sejam sempre positivos. [...] O convnet usa filtros aprendidos para envolver os mapas de recursos da camada anterior. [...] Fig. 6, essas visualizações são representações precisas do padrão de entrada que estimulam o mapa de recursos fornecido no modelo [...] quando as partes da imagem de entrada original correspondentes ao padrão são ocluídas, vemos uma queda distinta de atividade no mapa de recursos. [...]
Observações: também introduz o termo "mapa de características" e "mapa de características retificado" na Fig. 1.
Trechos do capítulo Stanford CS231n na CNN :
[...] Uma armadilha perigosa que pode ser facilmente percebida com esta visualização é que alguns mapas de ativação podem ser zero para muitas entradas diferentes, o que pode indicar filtros mortos e pode ser um sintoma de altas taxas de aprendizado [...] Ativações de aparência típica na primeira camada CONV (esquerda) e na quinta camada CONV (direita) de um AlexNet treinado olhando para uma foto de um gato. Cada caixa mostra um mapa de ativação correspondente a algum filtro. Observe que as ativações são esparsas (a maioria dos valores é zero, nesta visualização mostrada em preto) e principalmente local.
Trechos de um guia do iniciante para entender redes neurais convolucionais
[...] Todo local exclusivo no volume de entrada produz um número. Depois de deslizar o filtro por todos os locais, você descobrirá que resta um conjunto de números 28 x 28 x 1, que chamamos de mapa de ativação ou mapa de recursos.
a1
,a2
etc). No Conv2, acho que chamariaa1
o mapa de ativação de entrada ea2
o mapa de ativação de saída. Em Conv1, eux
a imagem de entrada ea1
o mapa de ativação de saída.Antes de falar sobre o significado do mapa de características, vamos apenas definir o termo do vetor de características.
vetor de característica é representação vetorial de objetos. Por exemplo, um carro pode ser representado por [número de rodas, porta. janelas, idade ..etc].
O mapa de características é uma função que pega vetores de características em um espaço e os transforma em vetores de características em outro. Por exemplo, dado um vetor de característica [volume, peso, altura, largura], ele pode retornar [1, volume / peso, altura * largura] ou [altura * largura] ou mesmo apenas [volume]
fonte