Wie man Interpunktion mit NLTK Tokenizer loswerden?

Question

Ich fange gerade an, NLTK zu verwenden, und ich verstehe nicht ganz, wie man eine Liste der Wörter vom Text erhält. Wenn ich nltk.word_tokenize() verwende, erhalte ich eine Liste von Wörtern und Interpunktion. Ich brauche nur die Wörter stattdessen. Wie kann ich Interpunktion beseitigen? Auch word_tokenize funktioniert nicht mit mehreren Sätzen: Punkte werden dem letzten Wort hinzugefügt.

Answer 1

Wie in den Kommentaren bemerkt, fangen Sie mit sent_tokenize() an, weil word_tokenize() nur für einen einzigen Satz funktioniert. Sie können Interpunktion mit filter() filtern. Und wenn Sie Unicode-Strings haben, stellen Sie sicher, dass es sich um ein Unicode-Objekt handelt (nicht um ein 'str', das mit einer Codierung wie 'utf-8' codiert ist).

from nltk.tokenize import word_tokenize, sent_tokenize 

text = '''It is a blue, small, and extraordinary ball. Like no other''' 
tokens = [word for sent in sent_tokenize(text) for word in word_tokenize(sent)] 
print filter(lambda word: word not in ',-', tokens) 

Answer 2

Werfen Sie einen Blick auf die anderen Optionen, die Tokenisieren here NLTK bietet. Zum Beispiel können Sie eine tokenizer definieren, die als Token-Sequenzen von alphanumerischen Zeichen aussucht und fällt alles andere:

from nltk.tokenize import RegexpTokenizer 

tokenizer = RegexpTokenizer(r'\w+') 
tokenizer.tokenize('Eighty-seven miles to go, yet. Onward!') 

Ausgang:

['Eighty', 'seven', 'miles', 'to', 'go', 'yet', 'Onward'] 

Answer 3

ich den folgenden Code nur verwendet, die alle Interpunktion entfernt :

tokens = nltk.wordpunct_tokenize(raw) 

type(tokens) 

text = nltk.Text(tokens) 

type(text) 

words = [w.lower() for w in text if w.isalpha()] 

Answer 4

ich benutze diesen Code Interpunktion zu entfernen:

import nltk 
def getTerms(sentences): 
    tokens = nltk.word_tokenize(sentences) 
    words = [w.lower() for w in tokens if w.isalnum()] 
    print tokens 
    print words 

getTerms("hh, hh3h. wo shi 2 4 A . fdffdf. A&&B ") 

Und Wenn Sie überprüfen wollen, ob ein Token ein gültiges englische Wort ist oder nicht, können Sie PyEnchant

Tutorial benötigen:

import enchant 
d = enchant.Dict("en_US") 
d.check("Hello") 
d.check("Helo") 
d.suggest("Helo") 

Answer 5

Sie nicht wirklich brauchen NLTK Interpunktion zu entfernen. Sie können es mit einfachem Python entfernen. Für Strings:

import string 
s = '... some string with punctuation ...' 
s = s.translate(None, string.punctuation) 

Oder für Unicode:

import string 
translate_table = dict((ord(char), None) for char in string.punctuation) 
s.translate(translate_table) 

und dann diese Zeichenfolge in Ihrem tokenizer verwenden.

P.S. String-Modul haben einige andere Sätze von Elementen, die entfernt werden können (wie Ziffern).

Answer 6

Ich denke, Sie irgendeine Art von regulären Ausdrücke müssen (der folgende Code in Python 3):

import string 
import re 
import nltk 

s = "I can't do this now, because I'm so tired. Please give me some time." 
l = nltk.word_tokenize(s) 
ll = [x for x in l if not re.fullmatch('[' + string.punctuation + ']+', x)] 
print(l) 
print(ll) 

Ausgang:

['I', 'ca', "n't", 'do', 'this', 'now', ',', 'because', 'I', "'m", 'so', 'tired', '.', 'Please', 'give', 'me', 'some', 'time', '.'] 
['I', 'ca', "n't", 'do', 'this', 'now', 'because', 'I', "'m", 'so', 'tired', 'Please', 'give', 'me', 'some', 'time'] 

Sollte in den meisten Fällen gut funktionieren, da es Interpunktion entfernt Token wie "nicht" beibehalten, die nicht von Regex Tokens wie wordpunct_tokenize erhalten werden können.

Answer 7

Der folgende Code entfernt alle Interpunktionszeichen sowie nicht alphabetische Zeichen. Aus ihrem Buch kopiert.

http://www.nltk.org/book/ch01.html

import nltk 

s = "I can't do this now, because I'm so tired. Please give me some time. @ sd 4 232" 

words = nltk.word_tokenize(s) 

words=[word.lower() for word in words if word.isalpha()] 

print(words) 

Ausgang

['i', 'ca', 'do', 'this', 'now', 'because', 'i', 'so', 'tired', 'please', 'give', 'me', 'some', 'time', 'sd']