Stimmungsanalyse gemeinsame Liste

Question

im die Sentiment-Analyse mit dem Tun Scikit-Learn Python, jetzt bin ich mit dem nltk die Worte Lemmatisierung zu tun, um die Verarbeitungsgeschwindigkeit zu erhöhen, zum Beispiel:

ich die folgenden Felder nach nltk Verarbeitung:

array([ ['Really', 'a', 'terrible', 'course', u'lecture', u'be', 'so', 'boring', 'i', u'contemplate', 'suicide', 'on', 'numerous', u'occasion', 'and', 'the', 'tutes', u'go', 'for', 'two', u'hour', 'and', u'be', 'completely'], ['Management', 'accounting', u'require', 'sufficient', 'practice', 'to', 'get', 'a', 'hang', 'of', 'Made', 'easier', 'with', 'a', 'great', 'lecturer']], dtype=object) 

aber die scklearn benötigen das Array

array([ 'Really a terrible course lectures were so boring i contemplated suicide on numerous occasions and the tutes went for two hours and were completely ', 'Management accounting requires sufficient practice to get a hang of Made easier with a great lecturer '],dtype=object) 

so was ist der beste Weg, um dieses Array in die richtige Form zu bringen? Ich versuche joint list zu verwenden, aber das Ergebnis ist seltsam

Answer 1

Sie tun würde:

second_array = [' '.join(each) for each in first_array] 

Alternativ können Sie sklearn.CountVectorizer sagen nur Ihre Token verwenden:

vect = CountVectorizer(preprocessor=lambda x: x, tokenizer=lambda x: x) 
X = vect.fit_transform(first_array)