Eu sou um novo aluno em PNL. Estou interessado na tarefa de gerar sentenças. Para mim, um método de última geração é o CharRNN , que usa o RNN para gerar uma sequência de palavras.
No entanto, o BERT saiu há várias semanas e é muito poderoso. Portanto, estou pensando se essa tarefa também pode ser realizada com a ajuda do BERT. Sou um aprendiz novo neste campo e obrigado por qualquer conselho!
Respostas:
Para iniciantes, NÃO.
A geração de sentenças requer amostragem a partir de um modelo de linguagem, que fornece a distribuição de probabilidade da próxima palavra em contextos anteriores. Mas o BERT não pode fazer isso devido à sua natureza bidirecional.
Para pesquisadores avançados, SIM.
Você pode começar com uma frase de todos os tokens [MASK] e gerar palavras uma a uma em ordem arbitrária (em vez da decomposição comum da cadeia da esquerda para a direita). Embora a qualidade da geração de texto seja difícil de controlar.
Aqui está o relatório técnico que o BERT tem na boca e deve falar: O BERT como um modelo de linguagem de campo aleatório de Markov , suas erratas e o código-fonte .
Em suma:
fonte
esse experimento de Stephen Mayhew sugere que o BERT é péssimo na geração seqüencial de texto:
http://mayhewsw.github.io/2019/01/16/can-bert-generate-text/
fonte
Não. A geração de sentenças está diretamente relacionada à modelagem de linguagem (dadas as palavras anteriores na sentença, qual é a próxima palavra). Devido à bidirecionalidade do BERT, o BERT não pode ser usado como modelo de linguagem. Se não puder ser usado como modelo de linguagem, não vejo como você pode gerar uma frase usando o BERT.
fonte
Que opções alternativas existem para isso?
fonte