Wie tunkiere ich einen String-Satz in NLTK?

Question

Ich benutze nltk, also möchte ich meine eigenen benutzerdefinierten Texte wie die Standard auf nltk.books erstellen. Allerdings habe ich mich sehr auf das Verfahren auf wie

my_text = ['This', 'is', 'my', 'text'] 

Ich möchte jede mögliche Weise zur Eingabe meiner „Text“, wie entdecken: die

my_text = "This is my text, this is a nice way to input text." 

Welche Methode, Python oder von nltk erlaubt ich, das zu tun. Und noch wichtiger: Wie kann ich Interpunktionssymbole unterschätzen?

Answer 1

Dies ist eigentlich auf der main page of nltk.org:

>>> import nltk 
>>> sentence = """At eight o'clock on Thursday morning 
... Arthur didn't feel very good.""" 
>>> tokens = nltk.word_tokenize(sentence) 
>>> tokens 
['At', 'eight', "o'clock", 'on', 'Thursday', 'morning', 
'Arthur', 'did', "n't", 'feel', 'very', 'good', '.'] 

Answer 2

Als @PavelAnossov beantwortet, die kanonische Antwort, verwenden Sie die word_tokenize Funktion in nltk:

from nltk import word_tokenize 
sent = "This is my text, this is a nice way to input text." 
word_tokenize(sent) 

---

Wenn Ihr Satz ist wirklich einfach genug:

die string.punctuation Satz Entfernen Sie mit Interpunktion dann das Leerzeichen Trennzeichen aufgeteilt:

import string 
x = "This is my text, this is a nice way to input text." 
y = "".join([i for i in x if not in string.punctuation]).split(" ") 
print y