É possível treinar redes neurais para desenhar em determinado estilo? (Por isso, ele pega uma imagem e a redesenha no estilo para o qual foi treinada.)
Existe alguma tecnologia aprovada para esse tipo de coisa? Eu sei sobre o algoritmo DeepArt. É bom preencher a imagem principal com certo padrão (por exemplo, imagem de vangoghify), mas estou procurando algo diferente - por exemplo, criar desenho animado em um determinado estilo a partir do retrato de entrada.
Respostas:
Existe um artigo relevante: LA Gatus, AS Ecker, M Bethge, 2015, A Algoritmo Neural do Estilo Artístico . Citando o resumo,
Aqui está a Figura 2 deste artigo:
Há também uma implementação de código aberto muito popular baseada em tocha aqui, que é bastante fácil de usar. Veja o link para mais exemplos.
Lembre-se de que os cálculos são pesados e, portanto, o processamento de imagens únicas é o escopo deste trabalho.
Edit: depois de verificar o seu projeto DeepArt mencionado, parece que ele está usando as mesmas técnicas. Não sei por que não é isso que você quer, porque o conceito de transferência de estilo é o mais geral possível.
fonte
Este é um problema bastante difícil de resolver. Você pode ver alguns exemplos aqui sobre como um estilo de desenho animado, por exemplo, do Simpson, foi aplicado a uma imagem.
Uma imagem de desenho animado geralmente não tem a estrutura que produz esse efeito artístico . A maneira mais fácil de tentar aplicar isso de alguma maneira seria ter um rastreador de rosto e, em seguida, tentar alinhar duas faces, por exemplo, uma face de desenho animado e uma face humana, e depois aplicar isso. Isso pode levá-lo a algum lugar, mas também pode parecer estranho. Você pode anotar pontos de referência nas imagens para ajudar ainda mais e fazer um registro não rígido antes disso. Essa ainda é uma solução de merda, mas o mais próximo que consigo pensar pode funcionar para rostos.
Editar:
O comentário de @TannerSwett acrescenta algo a isso: é possível acessar as páginas de alguns artistas e tentar encontrar suas ilustrações e aprender o estilo "deles". Ainda acho que isso não será satisfatório ou produzirá dados suficientes, mas isso seria uma coisa interessante a ser testada. No momento, não existe uma solução disponível no momento, mas acho que definitivamente existem algumas pessoas trabalhando nisso, e veremos melhores resultados em breve.
Acho que talvez o caminho a seguir não seja a abordagem da rede neural artística. Talvez seja melhor ter uma rede que possa classificar objetos em uma imagem e, em seguida, aprender as correspondências entre os objetos e seus colegas de desenho animado, depois misturar os resultados de alguma maneira significativa.
fonte
Não deve ser muito complicado de fazer. Ainda não li o artigo mencionado, aqui está minha receita:
Basicamente, isso fornece uma maneira de parametrizar o 'estilo' no seu caso, por exemplo, digamos o quão ampla ou difusa deve ser a pincelada. Coisas que dependem do estilo específico que você está tentando imitar.
No exemplo acima, diferentes faces 'morphed' ou 'imaginadas' são uma função dos parâmetros no espaço latente. Na imagem abaixo, isso seria o que você obtém alterando as coisas no nível do 'código'.
Aqui está a idéia básica: imagem original à esquerda, versão estilizada da mesma imagem à direita:
Agora, em teoria, se você treinar esse modelo em uma imagem normal e uma imagem estilizada como um alvo e adicionar convoluções, poderá aprender os filtros do kernel que correspondem ao tipo de "pinceladas" que o artista usa .
Obviamente, isso significa que você precisa ter alguns exemplos de imagens nas versões original e estilizada. Esse conjunto de dados seria bom doar para a comunidade - se você acabar fazendo isso, eu ficaria muito interessado em ver esse tipo de trabalho.
Boa sorte!
O artigo da wiki sobre codificadores automáticos seria um bom ponto de partida: https://en.wikipedia.org/wiki/Autoencoder
fonte