Quais são os métodos mais recentes para treinar um bot de bate-papo?

Eu gostaria de treinar um bot que use entrada de texto, memorize algumas categorias e responda a perguntas adequadamente. Além da versão 2.0, quero que o bot atenda as entradas de voz também. Quais são os mais recentes algoritmos de aprendizado de máquina / IA disponíveis para o mesmo? Por favor deixe-me saber.

Sua pergunta é incrivelmente ampla - então, em resposta, duas estruturas amplas que eu encorajo você a ver são:

1. Para o desenvolvimento de conversas avançadas em chatbot, http://rasa.ai é uma estrutura de código aberto mais adaptável que os sistemas baseados em regras mais tradicionais
2. Para reconhecimento de fala, visite https://discourse.mozilla.org/c/deep-speech, que também é de código aberto.

Se o seu bot está "lembrando" de poucas categorias e responde às perguntas, é bastante inútil no cenário atual. porque nesse caso, ele apresenta um desempenho muito ruim em um conjunto de dados diferente (conjunto de teste). na terminologia estatística, isso é chamado de "sobreajuste". e, respondendo a perguntas, não existe uma regra prática para definir algoritmos "de última geração". embora você possa verificar alguns modelos com bom desempenho em babi ou em conjuntos de dados semelhantes, como redes de memória dinâmica ou modelos seQ2seQ. para ter uma idéia básica desse campo, sugiro que você aprenda o idioma básico do aprendizado de máquina e depois passe para algum curso avançado de processamento de linguagem natural (stanford oferece cs224n).

Estado de AbuShawar & Atwell:

Um chatbot é um agente de conversação que interage com os usuários, passo a passo, usando linguagem natural. Diferentes chatbots ou sistemas de diálogo humano-computador foram desenvolvidos usando comunicação por voz ou texto e foram aplicados em diferentes domínios, como: pesquisa lingüística, ensino de idiomas, atendimento ao cliente, ajuda no site e por diversão.

Eles e outros documentos transmitem algumas das muitas abordagens contemporâneas ao treinamento de chatbot até o momento em que este artigo foi escrito.

Extração automática de dados de treinamento do Chatbot da Natural Dialogue Corpora , Bayan AbuShawar, Eric Atwell, 2016

No entanto, a maioria dos chatbots se restringe ao conhecimento que está manualmente em seus arquivos e a um idioma natural específico que é escrito ou falado. Este artigo apresenta o programa que desenvolvemos para converter um texto legível por máquina (corpus) em um formato de chatbot específico, que é usado para treinar novamente um chatbot e gerar um chat mais próximo da linguagem humana. Diferentes corpora foram utilizados: corpora de diálogo como o British National Corpus of English (BNC); o livro sagrado do Islã Alcorão, que é um corpus monólogo em que os versos e os seguintes são alternados; e o FAQ, onde perguntas e respostas são um par de turnos. O principal objetivo desse processo de automação é a capacidade de gerar diferentes protótipos de chatbot que falem diferentes idiomas com base no corpus.

Seleção de ação de chatbot consciente do contexto e incerteza por meio de aprendizado de reforço auxiliar parametrizado , Chuandong Yin, Rui Zhang, Jianzhong Qi, Yu Sun e Tenglun Tan, 2018

Propomos um chatbot com reconhecimento de incerteza no contexto e um modelo de aprendizagem por reforço (RL) para treinar o chatbot. O modelo proposto é denominado Critical Actor Advantage Assíncrono Auxiliar Paramétrico (PA4C). Utilizamos um simulador de usuário para simular a incerteza da confiança dos usuários em um contexto de conversa. Comparado com as abordagens ingênuas baseadas em regras, nosso chatbot treinado pelo modelo PA4C evita a seleção de ações artesanais e é mais robusto à variação da expressão do usuário. O modelo PA4C otimiza os modelos convencionais de RL com parametrização de ações e tarefas auxiliares para o treinamento de chatbot, que abordam os problemas de um grande espaço de ação e estados de recompensa zero. Avaliamos o modelo PA4C ao treinar um chatbot para tarefas de criação de eventos do calendário.

Treinamento do Sistema de Aprendizado Supervisionado Usando a Interação Chatbot , Publicação do Pedido de Patente dos Estados Unidos 0034828 A1, International Business Machines Corporation, Armonk, NY, EUA, 2019

Método implementado por computador, que compreende o recebimento e a análise de um ponto de dados para determinar parâmetros do ponto de dados, gerando um ticket de alerta com base na análise do ponto de dados, comunicando, por meio de um chatbot, pelo menos algumas informações contidas no ticket de alerta para um ou mais usuários e categorizando, por meio do chatbot, o ponto de dados que resultou no ticket de alerta com base no comportamento de um dispositivo que gerou o ponto de dados. Jonathan A. Cagadas, Alexander D. Lewitt, Simon D. Mikulcik, Karan Shukla, Leigh A. Williamson

Treinamento em duas etapas e decodificação de codificação mista para a implementação de um chatbot generativo com um corpus de diálogo pequeno , Jintae Kim, Hyeon-Gu Lee, Harksoo Kim, Yeonsoo Lee, Young-Gil Kim, 2016

Modelos de chatbot generativos baseados em redes de sequência a sequência podem gerar interações naturais de conversação se um corpus de diálogo enorme for usado como dados de treinamento. No entanto, exceto em alguns idiomas, como inglês e chinês, ainda é difícil coletar um grande corpus de diálogo. Para resolver esse problema, propomos um modelo de chatbot usando uma mistura de palavras e sílabas como unidades de codificação e decodificação. Além disso, propomos um método de treinamento em duas etapas, envolvendo o pré-treinamento usando um corpus grande sem diálogo e o treinando com um pequeno corpus de diálogo. Em nossos experimentos, as unidades de mistura foram mostradas para ajudar a reduzir problemas de falta de vocabulário (OOV). Além disso, o método de treinamento em duas etapas foi eficaz na redução de erros gramaticais e semânticos nas respostas quando o chatbot foi treinado usando um pequeno corpus de diálogo (533,

Seleção de dados inspirada na submodularidade para treinamento de chatbot orientado a objetivos com base em incorporações de sentenças , Mladen Dimovski, Claudiu Musat, Vladimir Ilievski, Andreea Hossmann, Michael Baeriswyl, 2018

Os sistemas de linguagem falada (SLU), como chatbots orientados a objetivos ou assistentes pessoais, contam com um módulo inicial de compreensão da linguagem natural (NLU) para determinar a intenção e extrair as informações relevantes das consultas do usuário que eles recebem como entrada. Os sistemas SLU geralmente ajudam os usuários a resolver problemas em domínios relativamente estreitos e exigem uma grande quantidade de dados de treinamento no domínio. Isso leva a problemas significativos de disponibilidade de dados que inibem o desenvolvimento de sistemas bem-sucedidos. Para aliviar esse problema, propomos uma técnica de seleção de dados no regime de poucos dados que nos permite treinar com menos frases rotuladas, reduzindo assim os custos de rotulagem. Propomos uma função de classificação de dados inspirada na submodularidade, o ganho marginal de penalidade de proporção, para selecionar pontos de dados a serem rotulados com base apenas nas informações extraídas do espaço de incorporação textual. Mostramos que as distâncias no espaço de incorporação são uma fonte viável de informações que podem ser usadas para a seleção de dados. Nosso método supera duas técnicas conhecidas de aprendizado ativo e permite um treinamento econômico da unidade NLU. Além disso, nossa técnica de seleção proposta não precisa que o modelo seja treinado novamente entre as etapas de seleção, tornando-o também eficiente em termos de tempo.

Você pode trabalhar com redes neurais recorrentes com LSTM ou GRU como células de memória e incorporação de palavras como o Word2vec. Os modelos de busca de vigas e atenção também podem ser utilizados com os RNNs para maior robustez e menos viés. Mas os resultados destes são apreciáveis ​​até certo ponto, apenas porque a pesquisa nesse campo ainda é quente e muito a ser desvendada.