Eu tenho 40000 linhas de dados de texto do domínio da saúde. Os dados possuem uma coluna para texto (2 a 5 frases) e uma coluna para sua categoria. Eu quero classificar isso em 300 categorias. Algumas categorias são independentes, enquanto outras são um pouco relacionadas. A distribuição de dados...
Eu já passei por este post que usa nltk's cmudictpara contar o número de sílabas em uma palavra: from nltk.corpus import cmudict d = cmudict.dict() def nsyl(word): return [len(list(y for y in x if y[-1].isdigit())) for x in d[word.lower()]] No entanto, para palavras fora do dicionário do cmu,...
Golang é um dos meus idiomas favoritos e eu quero usá-lo para um projeto pessoal de PNL / ML. O ecossistema do golang é bom e rico o suficiente para isso? Existe um pacote alternativo para o nltk em
Estou lendo este artigo "Sequência para aprendizado de sequência com redes neurais" http://papers.nips.cc/paper/5346-sequence-to-sequence-learning-with-neural-networks.pdf Em "2. O Modelo", diz: O LSTM calcula essa probabilidade condicional obtendo primeiro a representação dimensional fixa v...
Para uma tarefa de análise de sentimentos, suponha que tenhamos algumas classes representadas por características .ccciii Podemos representar a probabilidade condicional de cada classe como: que representa cada recurso e é a classe temos. , podemos representar Nossos antecedentes para cada...
Eu tenho um conjunto de dados com fragmentos de texto com uma estrutura fixa que pode conter parâmetros. Exemplos são: Temperature today is 20 centigrades Temperature today is 28 centigrades ou Her eyes are blue and hair black. Her eyes are green and hair brown. O primeiro exemplo mostra um...
Eu tenho um banco de dados de cerca de 200 documentos que são ngrams que eu extraí. Quero encontrar o documento no meu banco de dados que seja mais semelhante a um documento de consulta. Em outras palavras, desejo encontrar o documento no banco de dados que compartilhe o maior número de ngrams com...
Eu sou um novato quando se trata de aprendizado de máquina. Estou tentando obter experiência prática analisando diferentes algoritmos de aprendizado supervisionado usando a biblioteca scikit-learn de python. Estou usando o conjunto de dados sentiment140 de 1,6 milhão de tweets para análise de...
Desconsiderando possíveis restrições computacionais, existem aplicações gerais em que a lematização seria uma etapa contraproducente ao analisar dados de texto? Por exemplo, a lematização seria algo que não é feito ao criar um modelo com reconhecimento de contexto? Para referência, lematização...
Atualmente, estou trabalhando com um conjunto de dados com uma ampla variedade de comprimentos de documentos - de uma única palavra a uma página inteira de texto. Além disso, a estrutura gramatical e o uso da pontuação variam muito de um documento para outro. O objetivo é classificar esses...
Estou procurando compilar um corpus de sentimentos para artigos de notícias em vários idiomas (~ 100 mil por idioma. Para um experimento de aprendizado de máquina) em que cada artigo é rotulado como positivo, neutro ou negativo. Pesquisei alto e baixo, mas não consegui encontrar nada parecido com...
Pretendo tokenizar vários textos de descrição de cargo. Eu tentei a tokenização padrão usando espaço em branco como delimitador. No entanto, notei que existem algumas expressões de várias palavras divididas por espaços em branco, que podem causar problemas de precisão no processamento subsequente....
Eu tenho lido sobre essas duas técnicas para encontrar a raiz da palavra, mas como preferimos uma à outra? "Lematização" é sempre melhor que