Python: Wie Genauigkeit Ergebnis in SVM Text Classifier Algorithmus für Multilabel Klasse

Question

ich verwendet habe folgenden Satz von Code zu finden: Und ich brauche Genauigkeit von X_train und X_test für mich zu überprüfen, in meiner Klassifizierung

Der folgende Code funktioniert Problem über Multi-markierte Klasse

import numpy as np 
from sklearn.pipeline import Pipeline 
from sklearn.feature_extraction.text import CountVectorizer 
from sklearn.svm import LinearSVC 
from sklearn.feature_extraction.text import TfidfTransformer 
from sklearn.multiclass import OneVsRestClassifier 

X_train = np.array(["new york is a hell of a town", 
        "new york was originally dutch", 
        "the big apple is great", 
        "new york is also called the big apple", 
        "nyc is nice", 
        "people abbreviate new york city as nyc", 
        "the capital of great britain is london", 
        "london is in the uk", 
        "london is in england", 
        "london is in great britain", 
        "it rains a lot in london", 
        "london hosts the british museum", 
        "new york is great and so is london", 
        "i like london better than new york"]) 
y_train = [[0],[0],[0],[0] 
      ,[0],[0],[1],[1] 
      ,[1],[1],[1],[1] 
      ,[2],[2]] 
X_test = np.array(['nice day in nyc', 
        'the capital of great britain is london', 
        'i like london better than new york', 
        ]) 
target_names = ['Class 1', 'Class 2','Class 3'] 

classifier = Pipeline([ 
    ('vectorizer', CountVectorizer(min_df=1,max_df=2)), 
    ('tfidf', TfidfTransformer()), 
    ('clf', OneVsRestClassifier(LinearSVC()))]) 
classifier.fit(X_train, y_train) 
predicted = classifier.predict(X_test) 
for item, labels in zip(X_test, predicted): 
    print '%s => %s' % (item, ', '.join(target_names[x] for x in labels)) 

OUTPUT

nice day in nyc => Class 1 
the capital of great britain is london => Class 2 
i like london better than new york => Class 3 

Ich möchte die Genauigkeit zwischen Training und Testdatensatz überprüfen. Score-Funktion nicht für mich funktioniert, zeigt es einen Fehler, der Multilabel Wert besagt nicht

akzeptiert kann

>>> classifier.score(X_train, X_test) 

NotImplementedError: Partitur nicht für Multilabel Klassifizierer unterstützt wird

mir bitte helfen Genauigkeit Ergebnisse zu erhalten für Training und Testdaten und wählen Sie einen Algorithmus für unseren Klassifikationsfall.

Answer 1

Wenn Sie eine Genauigkeitsbewertung für Ihr Testset erhalten möchten, müssen Sie einen Antwortschlüssel erstellen, den Sie anrufen können: y_test. Sie können nicht wissen, ob Ihre Vorhersagen richtig sind, es sei denn, Sie kennen die richtigen Antworten.

Sobald Sie einen Antwortschlüssel haben, können Sie die Genauigkeit erhalten. Die gewünschte Methode ist sklearn.metrics.accuracy_score.

Ich habe es geschrieben unter:

from sklearn.metrics import accuracy_score 

# ... everything else the same ... 

# create an answer key 
# I hope this is correct! 
y_test = [[1], [2], [3]] 

# same as yours... 
classifier.fit(X_train, y_train) 
predicted = classifier.predict(X_test) 

# get the accuracy 
print accuracy_score(y_test, predicted) 

Auch sklearn hat mehrere andere Metriken neben Genauigkeit. Sehen Sie sie hier: sklearn.metrics