extração de recursos para um modelo pré-treinado em keras

7

Keras tem uma maneira de extrair os recursos de um modelo pré-treinado, descrito aqui https://keras.io/applications/

from keras.applications.vgg16 import VGG16
from keras.preprocessing import image
from keras.applications.vgg16 import preprocess_input
import numpy as np

model = VGG16(weights='imagenet', include_top=False)

img_path = 'elephant.jpg'
img = image.load_img(img_path, target_size=(224, 224))
x = image.img_to_array(img)
x = np.expand_dims(x, axis=0)
x = preprocess_input(x)

features = model.predict(x)

Eu tentei isso com algumas imagens de amostra. Meu vetor x tem a forma (100, 3, 224, 224) para 100 observações, 3 para RGB e 224x224 pixels. o preprocess_inputremodelará para o modelo VGG (espera uma ordem diferente).

No entanto, a forma de saída de featuresé (100, 512, 7, 7). Qual é essa forma? Eu quero usar os recursos como entrada para uma regressão logística. Então, eu preciso de uma forma como (100, n): uma linha para cada observação e os recursos nas colunas. Como remodelar a saída para esta dimensão?

Digamos que agora eu queira criar meu próprio Convnet simples:

from keras.models import Sequential
from keras.layers import Convolution2D, MaxPooling2D
from keras.layers import Activation, Dropout, Flatten, Dense

model = Sequential()
model.add(Convolution2D(32, 3, 3, input_shape=(1, 299, 299)))
model.add(Activation('relu'))
model.add(MaxPooling2D(pool_size=(2, 2)))

model.add(Convolution2D(32, 3, 3))
model.add(Activation('relu'))
model.add(MaxPooling2D(pool_size=(2, 2)))

model.add(Convolution2D(64, 3, 3))
model.add(Activation('relu'))
model.add(MaxPooling2D(pool_size=(2, 2)))

Este modelo espera imagens em escala de cinza como entrada, daí a forma.

Que tipo de camada devo adicionar para obter recursos desse modelo (algo que eu possa inserir em uma regressão logística ou floresta aleatória).

obrigado

spore234
fonte

Respostas:

7

A featuresvariável contém as saídas das camadas convolucionais finais da sua rede. A camada convolucional final do VGG16 gera 512 mapas de recursos 7x7. Tudo o que você precisa fazer para usar esses recursos em um modelo de regressão logística (ou qualquer outro modelo) é remodelá-lo para um tensor 2D, como você diz.

reshaped_features = features.reshape(100, 512*7*7)

Isso achatará os mapas de recursos para um longo vetor unidimensional para cada instância.

Dica: Se você não puder se incomodar em calcular as dimensões reais da sua remodelagem, poderá substituir 512*7*7por -1e numpydescobrirá o tamanho da dimensão final.

timleathart
fonte
Que tal extrair recursos da penúltima camada ou de outras camadas?
Raghuram
2
@Raghuram Use VGG19 keras.io/applications/#vgg19 #
christopherlovell