Como remover palavras de parada usando nltk ou python

Então, eu tenho um conjunto de dados que gostaria de remover palavras de parada de usar

stopwords.words('english')

Estou lutando para usar isso no meu código para simplesmente tirar essas palavras. Já tenho uma lista das palavras deste conjunto de dados, a parte com a qual estou lutando é comparando a esta lista e removendo as palavras irrelevantes. Qualquer ajuda é apreciada.

from nltk.corpus import stopwords
# ...
filtered_words = [word for word in word_list if word not in stopwords.words('english')]

Você também pode fazer uma diferença definida, por exemplo:

list(set(nltk.regexp_tokenize(sentence, pattern, gaps=True)) - set(nltk.corpus.stopwords.words('english')))

Suponho que você tenha uma lista de palavras (lista de palavras) da qual deseja remover as palavras irrelevantes. Você poderia fazer algo assim:

filtered_word_list = word_list[:] #make a copy of the word_list
for word in word_list: # iterate over word_list
  if word in stopwords.words('english'): 
    filtered_word_list.remove(word) # remove word from filtered_word_list if it is a stopword

Para excluir todos os tipos de palavras irrelevantes, incluindo palavras irrelevantes, você pode fazer algo assim:

from stop_words import get_stop_words
from nltk.corpus import stopwords

stop_words = list(get_stop_words('en'))         #About 900 stopwords
nltk_words = list(stopwords.words('english')) #About 150 stopwords
stop_words.extend(nltk_words)

output = [w for w in word_list if not w in stop_words]

Existe um pacote python muito simples e leve stop-wordsapenas para isso.

Primeiro instale o pacote usando: pip install stop-words

Então, você pode remover suas palavras em uma linha usando a compreensão de lista:

from stop_words import get_stop_words

filtered_words = [word for word in dataset if word not in get_stop_words('english')]

Este pacote é muito leve para baixar (ao contrário do nltk), funciona para ambos Python 2e Python 3, e tem palavras de parada para muitos outros idiomas como:

    Arabic
    Bulgarian
    Catalan
    Czech
    Danish
    Dutch
    English
    Finnish
    French
    German
    Hungarian
    Indonesian
    Italian
    Norwegian
    Polish
    Portuguese
    Romanian
    Russian
    Spanish
    Swedish
    Turkish
    Ukrainian

Use a biblioteca textcleaner para remover palavras irrelevantes de seus dados.

Siga este link: https://yugantm.github.io/textcleaner/documentation.html#remove_stpwrds

Siga estas etapas para fazer isso com esta biblioteca.

pip install textcleaner

Depois de instalar:

import textcleaner as tc
data = tc.document(<file_name>) 
#you can also pass list of sentences to the document class constructor.
data.remove_stpwrds() #inplace is set to False by default

Use o código acima para remover as palavras irrelevantes.

você pode usar esta função, você deve perceber que precisa diminuir todas as palavras

from nltk.corpus import stopwords

def remove_stopwords(word_list):
        processed_word_list = []
        for word in word_list:
            word = word.lower() # in case they arenet all lower cased
            if word not in stopwords.words("english"):
                processed_word_list.append(word)
        return processed_word_list

usando filtro :

from nltk.corpus import stopwords
# ...  
filtered_words = list(filter(lambda word: word not in stopwords.words('english'), word_list))

Aqui está minha opinião sobre isso, caso você queira colocar a resposta imediatamente em uma string (em vez de uma lista de palavras filtradas):

STOPWORDS = set(stopwords.words('english'))
text =  ' '.join([word for word in text.split() if word not in STOPWORDS]) # delete stopwords from text

No caso de seus dados serem armazenados como um Pandas DataFrame, você pode usar remove_stopwordsdo textero que usa a lista de palavras irrelevantes NLTK por padrão .

import pandas as pd
import texthero as hero
df['text_without_stopwords'] = hero.remove_stopwords(df['text'])

from nltk.corpus import stopwords 

from nltk.tokenize import word_tokenize 

example_sent = "This is a sample sentence, showing off the stop words filtration."

  
stop_words = set(stopwords.words('english')) 
  
word_tokens = word_tokenize(example_sent) 
  
filtered_sentence = [w for w in word_tokens if not w in stop_words] 
  
filtered_sentence = [] 
  
for w in word_tokens: 
    if w not in stop_words: 
        filtered_sentence.append(w) 
  
print(word_tokens) 
print(filtered_sentence) 

   import sys
print ("enter the string from which you want to remove list of stop words")
userstring = input().split(" ")
list =["a","an","the","in"]
another_list = []
for x in userstring:
    if x not in list:           # comparing from the list and removing it
        another_list.append(x)  # it is also possible to use .remove
for x in another_list:
     print(x,end=' ')

   # 2) if you want to use .remove more preferred code
    import sys
    print ("enter the string from which you want to remove list of stop words")
    userstring = input().split(" ")
    list =["a","an","the","in"]
    another_list = []
    for x in userstring:
        if x in list:           
            userstring.remove(x)  
    for x in userstring:           
        print(x,end = ' ') 
    #the code will be like this