stanford nlp Tokenizer

Question

Wie kann ich eine Zeichenfolge in Java-Klasse mit Hilfe von Stanford Parser in Tokensize?

Ich bin nur in der Lage, Beispiele für DocumentProcessor und PTBTokenizer zu finden, die Text aus einer externen Datei nehmen.

DocumentPreprocessor dp = new DocumentPreprocessor("hello.txt"); 
    for (List sentence : dp) { 
    System.out.println(sentence); 
    } 
    // option #2: By token 

    PTBTokenizer ptbt = new PTBTokenizer(new FileReader("hello.txt"), 
      new CoreLabelTokenFactory(), ""); 
    for (CoreLabel label; ptbt.hasNext();) { 
    label = (CoreLabel) ptbt.next(); 
    System.out.println(label); 
    } 

Danke.

Answer 1

PTBTokenizer Konstruktor nimmt einen java.io.Reader, dann können Sie einen String verwenden Ihren Text