Faz sentido treinar uma CNN como um autoencoder?

Trabalho com a análise de dados de EEG, que eventualmente precisarão ser classificados. No entanto, a obtenção de rótulos para as gravações é um tanto cara, o que me levou a considerar abordagens não supervisionadas, a fim de utilizar melhor nossas quantidades bastante grandes de dados não rotulados.

Isso naturalmente leva a considerar os autoencoders empilhados, o que pode ser uma boa ideia. No entanto, também faria sentido usar redes neurais convolucionais, uma vez que algum tipo de filtragem é geralmente uma abordagem muito útil para o EEG, e é provável que as épocas consideradas sejam analisadas localmente e não como um todo.

Existe uma boa maneira de combinar as duas abordagens? Parece que, quando as pessoas usam a CNN, geralmente usam treinamento supervisionado, ou o quê? Os dois principais benefícios de explorar redes neurais para o meu problema parecem ser o aspecto não supervisionado e o ajuste fino (seria interessante criar uma rede com dados populacionais e, em seguida, ajustar um indivíduo, por exemplo).

Então, alguém sabe se eu poderia pré-treinar uma CNN como se fosse um autoencoder "aleijado" ou isso seria inútil?

Devo considerar outra arquitetura, como uma profunda rede de crenças, por exemplo?

Sim, faz sentido usar CNNs com codificadores automáticos ou outros métodos não supervisionados. De fato, diferentes maneiras de combinar CNNs com treinamento não supervisionado foram tentadas para dados de EEG, incluindo o uso de auto-codificadores (convolucionais e / ou empilhados).

Exemplos:

O Deep Feature Learning para EEG Recordings usa auto-codificadores convolucionais com restrições personalizadas para melhorar a generalização entre sujeitos e ensaios.

A previsão baseada no EEG do desempenho cognitivo do motorista por uma rede neural profunda convolucional usa redes convolucionais de crenças profundas em eletrodos únicos e as combina com camadas totalmente conectadas.

Uma nova abordagem de aprendizado profundo para classificação de sinais de imagens de motores de EEG utiliza auto-codificadores empilhados totalmente conectados na saída de uma CNN supervisionada (razoavelmente superficial) treinada.

Mas também as CNNs puramente supervisionadas tiveram sucesso nos dados de EEG, veja, por exemplo:

EEGNet: Uma rede convolucional compacta para interfaces cérebro-computador baseadas em EEG

Aprendizado profundo com redes neurais convolucionais para mapeamento cerebral e decodificação de informações relacionadas a movimentos do EEG humano (divulgação: eu sou o primeiro autor deste trabalho, mais trabalhos relacionados, ver p. 44)

Observe que o documento da EEGNet mostra que também com um número menor de ensaios, o treinamento puramente supervisionado de sua CNN pode superar suas linhas de base (veja a Figura 3). Também em nossa experiência em um conjunto de dados com apenas 288 ensaios de treinamento, as CNN puramente supervisionadas funcionam bem, superando ligeiramente o desempenho da linha de base de padrões espaciais comuns de um banco de filtros tradicional.

Sim, você pode usar uma rede convolucional em uma configuração de codificador automático. Não há nada de estranho nisso. As pessoas têm problemas para descobrir as camadas de desconvolução .

Aqui você pode encontrar um exemplo de um autoencoder convolucional usando a estrutura Keras: https://blog.keras.io/building-autoencoders-in-keras.html