Was ist der richtige Weg NLTK Stoppwörter zu verwenden?

Question

Ich arbeite an einer Tasche von Wörtern Projekt und ich möchte Stoppwörter aus der NLTK-Liste der Stoppwörter entfernen. Zum Zeitpunkt, mache ich das:

words.difference_update(set(stopwords.words("english")))

(Wörter, um einen Satz alle Wörter im Korpus enthält)

jedoch wenn ich mir den Inhalt stopwords.words("english") Ich sehe Worte wie: "couldn" und "doesn". Ich nehme an, das sind Wortpräfixe für Wörter wie "könnte nicht" und "tut nicht" und vielleicht andere Wörter.

Also nehme ich an, es gibt eine Möglichkeit zu überprüfen, ob ein Wort in der Stop-Wörter-Liste ist, die ausgeklügelter als reine String-Gleichheit ist, aber ich kann nicht herausfinden, was es ist. Jede Hilfe wird geschätzt.

Answer 1

Es gibt keinen richtigen Weg für die Verwendung von Stoppwörtern. Es hängt davon ab, welche Aufgabe Sie ausführen möchten. Basierend auf den von Ihnen bereitgestellten Informationen scheint NLTK jedoch davon auszugehen, dass Sie Ihr Dokument nach Leerzeichen und Satzzeichen aufteilen. Ich kann jedoch annehmen, dass die Stoppwortliste auch Wörter wie could und does enthält. Mein Ansatz wäre NLTK des tokenize Paket zu erstellen Token des Korpus zu verwenden, zuerst und dann läuft difference_update:

words = set(nltk.word_tokenize(document)) 

Beachten Sie, dass je nach tokenization Modell die Funktion wie couldn't in ['could',"n't"] negative Worte aufgeteilt konnte. Wenn die Stoppwortliste die Zeichenfolge n't nicht enthält, müssen Sie diese daher ebenfalls aus Ihrem Set entfernen.

Eine andere Annahme, die ich mache, ist, dass Ihr Korpus nur Kleinbuchstaben enthält.

Hoffe, dass hilft!