O Natural Language Toolkit é uma biblioteca Python para linguística computacional.
Estou lendo este livro ( NLTK ) e é confuso. Entropia é definida como : Entropia é a soma da probabilidade de cada rótulo vezes a probabilidade de log desse mesmo rótulo Como posso aplicar entropia e entropia máxima em termos de mineração de texto? Alguém pode me dar um exemplo fácil e simples...
Ao tentar carregar o punkttokenizer ... import nltk.data tokenizer = nltk.data.load('nltk:tokenizers/punkt/english.pickle') ... a LookupErrorfoi criado: > LookupError: > ********************************************************************* > Resource 'tokenizers/punkt/english.pickle'...
Como localizo uma lista com todas as possíveis tags pos usadas pelo Natural Language Toolkit
Estou procurando uma maneira de dividir um texto em n gramas. Normalmente eu faria algo como: import nltk from nltk import bigrams string = "I really like python, it's pretty awesome." string_bigrams = bigrams(string) print string_bigrams Estou ciente de que o nltk oferece apenas bigrams e...
Quero verificar em um programa Python se uma palavra está no dicionário de inglês. Acredito que a interface nltk wordnet possa ser o caminho a seguir, mas não tenho idéia de como usá-la para uma tarefa tão simples. def is_english_word(word): pass # how to I implement
Quando uso cada um? Além disso ... a lematização do NLTK depende de partes do discurso? Não seria mais preciso se
Estou começando a usar o NLTK e não entendo como obter uma lista de palavras do texto. Se eu usar nltk.word_tokenize(), recebo uma lista de palavras e pontuação. Eu preciso apenas das palavras. Como posso me livrar da pontuação? Também word_tokenizenão funciona com várias frases: pontos são...
Então, eu tenho um conjunto de dados que gostaria de remover palavras de parada de usar stopwords.words('english') Estou lutando para usar isso no meu código para simplesmente tirar essas palavras. Já tenho uma lista das palavras deste conjunto de dados, a parte com a qual estou lutando é...
No script de shell, estou verificando se esses pacotes estão instalados ou não, se não estiverem instalados, instale-os. Portanto, com o script de shell: import nltk echo nltk.__version__ mas para o script de shell na importlinha no terminal linux tentei ver desta maneira: which nltk que não...
Tenho dificuldade em usar o pip para instalar quase tudo. Eu sou novo em programação, então pensei que talvez fosse algo que eu estava fazendo errado e optei por easy_install para obter a maior parte do que eu precisava, o que geralmente funcionou. No entanto, agora estou tentando fazer o download...
Meu código: import nltk.data tokenizer = nltk.data.load('nltk:tokenizers/punkt/english.pickle') Mensagem de erro: [ec2-user@ip-172-31-31-31 sentiment]$ python mapper_local_v1.0.py Traceback (most recent call last): File "mapper_local_v1.0.py", line 16, in <module> tokenizer =...
Eu estava seguindo um tutorial que estava disponível na Parte 1 e Parte 2 . Infelizmente, o autor não teve tempo para a seção final que envolvia o uso de similaridade de cosseno para realmente encontrar a distância entre dois documentos. Segui os exemplos do artigo com a ajuda do seguinte link...
É possível usar o Stanford Parser no NLTK? (Não estou falando sobre Stanford
Achei que muitas vezes a resposta ao meu título é ir e ler a documentação, mas eu li o livro NLTK, mas não dá a resposta. Sou meio novo em Python. Tenho .txtmuitos arquivos e quero poder usar as funções de corpus que o NLTK fornece para o corpus nltk_data. Eu tentei, PlaintextCorpusReadermas...
NLTK versão 3.4.5. Python 3.7.4. OSX versão 10.14.5. A atualização da base de código da 2.7 começou a ser executada agora. Fiz uma nova reinstalação sem cache de todos os pacotes e extensões, em um novo virtualenv. Bastante confuso sobre como isso pode estar acontecendo apenas comigo, não consigo...