Spacy Japan Tokenizer

Ich versuche, Spacys japanischen Tokenizer zu verwenden, wie unten gezeigt.Spacy Japan Tokenizer

import spacy 
Question= 'すぺいんへ いきました。' 
nlp(Question.decode('utf8'))

ich die folgenden Fehler bekommen,

TypeError: Expected unicode, got spacy.tokens.token.Token

Alle Ideen, wie dieses Problem beheben?

Danke!

Sind Sie Python2 oder Python3 verwenden? Welche Version von Spacy verwenden Sie? – alvas

Okay, für Python2 und Python3 gibt es einen Fehler. – alvas

Ich benutze Python 2.7. –

Versuchen Sie dies mit:

import spacy 
Question= u'すぺいんへ いきました。' 
nlp(Question)

2017-11-01 13:53:36

Das funktioniert auch nicht. Ich bekomme den gleichen Fehler. –

Können Sie in dieses Paket schauen: https://github.com/mocobeta/janome –

Antwort