NLTK Stemming passiert keinen einfachen Fall

Question

Ich bin neu zu NLTK, und ich verwende Stemmer-Funktion auf stemming Fällen.

Ich habe einen einfachen Beispielsatz zu verarbeiten, der ist: "Schalten Sie das Licht ein." Ich möchte sehen, ob NLTK-Stemmer mir helfen könnte, den Tippfehler "lightin" herauszufiltern. Ich habe stemmer mit "lighting" getestet, und snowBall stemmer kann das korrekte Wort "light" für mich zurückgeben, aber snowBall stemmer gibt in meinem Test "lightin" zurück.

Mein stamm Prozess ist sehr trivial:

tokens = "Turn on the lightin" 
for token in tokens: 
    print("SnowBall Lemmatizer: "+snowBallStemmer.stem(token)) 

Nach NTLK der doc, snowBallStemmer Englisch Einhalt zu gebieten verwendet werden könnten. Ich möchte wissen, warum snowBallStemer es nicht geschafft hat, "lightin" einzudämmen und was könnte ich tun, um das zu beheben.

Answer 1

Versuchen Sie, eine Rechtschreibprüfung (z pyenchant) läuft, bevor ergeben:

>>> import enchant 
>>> from nltk.stem import SnowballStemmer 

>>> d = enchant.Dict("en_US") 
>>> d.suggest('lightin') 
['lighting', 'lighten', 'light in', 'light-in', 'lightning', 'lightering', 'sighting', 'light', 'flitting', 'Litton'] 

>>> snowball = SnowballStemmer('english') 
>>> snowball.stem(d.suggest('lightin')[0]) 
u'light' 

>>> sent = "Turn on the lightin".split() 
>>> [snowball.stem(word if d.check(word) else d.suggest(word)[0]) for word in sent] 
[u'turn', 'on', u'the', u'light']