Qual é o papel de “Flatten” em Keras?

Estou tentando entender o papel da Flattenfunção em Keras. Abaixo está meu código, que é uma rede simples de duas camadas. Ele recebe dados bidimensionais de forma (3, 2) e produz dados unidimensionais de forma (1, 4):

model = Sequential()
model.add(Dense(16, input_shape=(3, 2)))
model.add(Activation('relu'))
model.add(Flatten())
model.add(Dense(4))
model.compile(loss='mean_squared_error', optimizer='SGD')

x = np.array([[[1, 2], [3, 4], [5, 6]]])

y = model.predict(x)

print y.shape

Isso imprime que ytem forma (1, 4). No entanto, se eu remover a Flattenlinha, ela imprime que ytem forma (1, 3, 4).

Eu não entendo isso. Do meu conhecimento de redes neurais, a model.add(Dense(16, input_shape=(3, 2)))função é criar uma camada oculta totalmente conectada, com 16 nós. Cada um desses nós está conectado a cada um dos elementos de entrada 3x2. Portanto, os 16 nós na saída dessa primeira camada já são "planos". Portanto, a forma de saída da primeira camada deve ser (1, 16). Em seguida, a segunda camada leva isso como uma entrada e produz dados de forma (1, 4).

Portanto, se a saída da primeira camada já é "plana" e tem a forma (1, 16), por que preciso achatá-la ainda mais?

Se você ler a entrada da documentação de Keras para Dense, verá que esta chamada:

Dense(16, input_shape=(5,3))

resultaria em uma Denserede com 3 entradas e 16 saídas que seriam aplicadas independentemente para cada uma das 5 etapas. Portanto, se D(x)transforma o vetor tridimensional em vetor 16-d, o que você obterá como saída de sua camada será uma sequência de vetores: [D(x[0,:]), D(x[1,:]),..., D(x[4,:])]com forma (5, 16). Para ter o comportamento especificado, você pode primeiro Flatteninserir um vetor de 15 d e depois aplicar Dense:

model = Sequential()
model.add(Flatten(input_shape=(3, 2)))
model.add(Dense(16))
model.add(Activation('relu'))
model.add(Dense(4))
model.compile(loss='mean_squared_error', optimizer='SGD')

EDITAR: Como algumas pessoas tiveram dificuldade em entender - aqui você tem uma imagem explicativa:

É assim que Flatten funciona convertendo Matrix em array único.

_{leitura curta:}

Achatar um tensor significa remover todas as dimensões, exceto uma. Isso é exatamente o que a camada Flatten faz.

_{longa leitura:}

Se levarmos em consideração o modelo original (com a camada Flatten) criado, podemos obter o seguinte resumo do modelo:

Layer (type)                 Output Shape              Param #   
=================================================================
D16 (Dense)                  (None, 3, 16)             48        
_________________________________________________________________
A (Activation)               (None, 3, 16)             0         
_________________________________________________________________
F (Flatten)                  (None, 48)                0         
_________________________________________________________________
D4 (Dense)                   (None, 4)                 196       
=================================================================
Total params: 244
Trainable params: 244
Non-trainable params: 0

Para este resumo, a próxima imagem irá fornecer um pouco mais de sentido sobre os tamanhos de entrada e saída para cada camada.

A forma de saída para a camada Flatten como você pode ler é (None, 48). Aqui está a dica. Você deve ler (1, 48)ou (2, 48)ou ... ou (16, 48)... ou (32, 48), ...

Na verdade, Nonenessa posição significa qualquer tamanho de lote. Para que as entradas sejam recuperadas, a primeira dimensão significa o tamanho do lote e a segunda significa o número de recursos de entrada.

A função da camada Flatten em Keras é super simples:

Uma operação de achatamento em um tensor remodela o tensor para ter a forma que é igual ao número de elementos contidos no tensor, não incluindo a dimensão do lote .

Observação: usei o model.summary()método para fornecer a forma de saída e os detalhes dos parâmetros.

Flatten torna explícito como você serializa um tensor multidimensional (tipicamente o de entrada). Isso permite o mapeamento entre o tensor de entrada (achatado) e a primeira camada oculta. Se a primeira camada oculta for "densa", cada elemento do tensor de entrada (serializado) será conectado a cada elemento da matriz oculta. Se você não usar Flatten, a maneira como o tensor de entrada é mapeado na primeira camada oculta seria ambígua.

Eu me deparei com isso recentemente, certamente me ajudou a entender: https://www.cs.ryerson.ca/~aharley/vis/conv/

Portanto, há uma entrada, um Conv2D, MaxPooling2D etc, as camadas Flatten estão no final e mostram exatamente como são formadas e como vão para definir as classificações finais (0-9).