Hinzufügen von zusätzlichen Funktionen zu Sack von Wörtern in Scikit-lernen Pipeline mit FeatureUnion

Question

Ich habe so viel gekämpft, aber immer noch nicht herausfinden, wie Sie zusätzliche Funktionen neben Textfunktionen mit FeatureUnion in der Scikit-lernen-Pipeline verwenden.
Ich habe eine Liste von Sätzen und deren Bezeichnungen, um ein Modell und eine Liste von Sätzen als Testdaten zu trainieren. Dann versuche ich ein zusätzliches Feature (wie die Länge jedes Satzes) zu den Taschenwörtern hinzuzufügen. Dafür habe ich eine benutzerdefinierte LengthTransformer geschrieben, die eine Liste von Längen zurückgibt und die gleiche Anzahl von Elementen wie meine Zugliste hat.
Dann kombiniere ich das mit TfidfVectorizer mit FeatureUnion, aber es funktioniert einfach nicht.

Was ich kam mit so weit nach oben, ist dies:

from sklearn.base import BaseEstimator, TransformerMixin 
from sklearn.pipeline import Pipeline, FeatureUnion 
from sklearn.feature_extraction.text import TfidfVectorizer 
from sklearn.svm import LinearSVC 
from sklearn.multiclass import OneVsRestClassifier 
from sklearn import preprocessing 

class LengthTransformer(BaseEstimator, TransformerMixin): 

    def fit(self, X, y=None): 
     return self 

    def transform(self, X): 
     return [len(x) for x in X] 


X_train = ["new york is a hell of a town", 
      "new york was originally dutch", 
      "the big apple is great", 
      "new york is also called the big apple", 
      "nyc is nice", 
      "people abbreviate new york city as nyc", 
      "the capital of great britain is london", 
      "london is in the uk", 
      "london is in england", 
      "london is in great britain", 
      "it rains a lot in london", 
      "london hosts the british museum", 
      "new york is great and so is london", 
      "i like london better than new york"] 
y_train_text = [["new york"], ["new york"], ["new york"], ["new york"], ["new york"], 
       ["new york"], ["london"], ["london"], ["london"], ["london"], 
       ["london"], ["london"], ["london", "new york"], ["new york", "london"]] 

X_test = ['nice day in nyc', 
      'welcome to london', 
      'london is rainy', 
      'it is raining in britian', 
      'it is raining in britian and the big apple', 
      'it is raining in britian and nyc', 
      'hello welcome to new york. enjoy it here and london too'] 

lb = preprocessing.MultiLabelBinarizer() 
Y = lb.fit_transform(y_train_text) 

classifier = Pipeline([ 
    ('feats', FeatureUnion([ 
     ('tfidf', TfidfVectorizer()), 
     ('len', LengthTransformer()) 
    ])), 
    ('clf', OneVsRestClassifier(LinearSVC())) 
]) 

classifier.fit(X_train, Y) 
predicted = classifier.predict(X_test) 
all_labels = lb.inverse_transform(predicted) 

for item, labels in zip(X_test, all_labels): 
    print('{} => {}'.format(item, ', '.join(labels))) 

Answer 1

LengthTransformer.transform Rückkehr Form ist falsch - es gibt einen Skalar pro Eingabedokument, während Transformatoren sollten einen Merkmalsvektor pro Dokument zurückzukehren. Sie können es funktionieren lassen, indem Sie in LengthTransformer.transform [len(x) for x in X] in [[len(x)] for x in X] ändern.