Ich versuche, eine document classification, as described in NLTK Chapter 6 zu tun, und ich habe Probleme beim Entfernen von Stoppwörtern. Als ichNLTK stopword removal Problem
all_words = (w for w in all_words if w not in nltk.corpus.stopwords.words('english'))
hinzufügen gibt es
Traceback (most recent call last):
File "fiction.py", line 8, in <module>
word_features = all_words.keys()[:100]
AttributeError: 'generator' object has no attribute 'keys'
Ich vermute, dass die Stoppwort-Code den Typ des Objekts für ‚all_words‘ verwendet, geändert, wodurch sie .key() Funktion nutzlos. Wie kann ich Stoppwörter entfernen, bevor ich die Schlüsselfunktion verwende, ohne den Typ zu ändern? Vollständiger Code unten:
import nltk
from nltk.corpus import PlaintextCorpusReader
corpus_root = './nltk_data/corpora/fiction'
fiction = PlaintextCorpusReader(corpus_root, '.*')
all_words=nltk.FreqDist(w.lower() for w in fiction.words())
all_words = (w for w in all_words if w not in nltk.corpus.stopwords.words('english'))
word_features = all_words.keys()[:100]
def document_features(document): # [_document-classify-extractor]
document_words = set(document) # [_document-classify-set]
features = {}
for word in word_features:
features['contains(%s)' % word] = (word in document_words)
return features
print document_features(fiction.words('fic/11.txt'))
Perfect. Vielen Dank! – user3128184