Os GANs - redes adversárias generativas - são bons apenas para imagens ou também podem ser usados para texto?
Por exemplo, treine uma rede para gerar textos significativos a partir de um resumo.
UPD - citações do inventor da GAN Ian Goodfellow.
Os GANs não foram aplicados à PNL porque os GANs são definidos apenas para dados com valor real. ( 2016 ) fonte
Não é uma ideia fundamentalmente defeituosa. Deve ser possível fazer pelo menos uma das seguintes ... (2017) fonte
Respostas:
Sim, os GANs podem ser usados para texto. No entanto, há um problema na combinação de como os GANs funcionam e como o texto é normalmente gerado pelas redes neurais:
Essas duas coisas não funcionam bem juntas por si mesmas, porque você não pode propagar gradientes através de unidades estocásticas discretas. Existem duas abordagens principais para lidar com isso: o algoritmo REINFORCE e a reparameterização Gumbel-Softmax (também conhecida como distribuição de concreto ). Leve em consideração que o REINFORCE é conhecido por ter alta variação, portanto, você precisa de grandes quantidades de dados para obter boas estimativas de gradiente.
Como um exemplo de REFORÇAR para GANs de texto, você pode verificar o artigo SeqGAN . Um exemplo do Gumbel-Softmax, você pode conferir neste artigo .
Outra opção completamente diferente é não ter uma unidade estocástica discreta como saída do gerador (por exemplo, gerar tokens deterministicamente no espaço incorporado), eliminando o problema original de retropropagação através deles.
fonte
Há pesquisas ainda mais específicas sobre esse tópico:
Xuerong Xiao, "Geração de Texto Utilizando Treinamento Adversário Generativo"
Esta pergunta está relacionada a esta: https://linguistics.stackexchange.com/questions/26448/how-to-translate-pelevins-creative-unit-idea-to-a-scientific-problem
fonte
Sim, agora os GANs também podem ser usados para dados discretos. O primeiro exemplo dessa intuição surgiu quando os GANs Wasserstein (WGAN) surgiram. Ian Goodfellow abordou uma abordagem de Aprendizado por Reforço para esse problema na Conferência NIPS 2016 Além disso, este artigo trata dos avanços na GAN em relação a dados discretos.
fonte