Wie kann ich meine eigenen Text-Klassifikator

Question

bewerten ich meinen eigenen Text-Klassifikator geschrieben haben, basierend auf einigen Sprachtheorie. Das endgültige Ergebnis des Klassifikators ist ein Tupelpaar eines Artikeltitels und der Binärkategorie.

habe ich auch den NB-Klassifikator auf meinem goldenen Standard Korpus und seine Leistung mit CV ausgewertet, mit Sci-Kit Bibliothek in Python zu lernen. Allerdings habe ich Probleme, herauszufinden, wie ich die Leistung meines eigenen Klassifikators beurteilen kann. : S

Ich würde schätzen Ihre Ideen wirklich, da ich nicht in der Maschine Lernenden erfahren bin.

Danke,

Guzdeh

Answer 1

einen Klassifikator zu bewerten, die häufigste Metrik ist die Genauigkeit, aber es gibt keine Daumenregel für alle möglichen Szenarien, ich würde so vorschlagen, dass Sie ein wenig über Auswertung lesen Metrik für Klassifikatoren. Lesen Sie auch über Bewertungsmethodik. Wenn Sie nicht mehr in der Lage sind, halten Sie sich zunächst an die Genauigkeit und Kreuzvalidierung, aber achten Sie darauf, was eine bestimmte Metrik bedeutet, was Ihre Methodik bedeutet, wie Sie eine Konfusionsmatrix lesen, jede Metrik und Methodik Vor- und Nachteile und besonders seine Beschränkungen.

Scikit der Erfahren Referenzseite für die Metriken: Link

Scikit Lernen Benutzerhandbuch für Kreuzvalidierung: Link

Sie sagten Sie Ihre goldenen Standard haben. Du hast gesagt, du hast dein Modell. Sie müssen dann nur eine Metrik und eine Bewertungsmethode wählen.

Ihr Modell wird eine Klasse/Ziel einen Eingang (ein Satz von Funktionen) gegeben vorhersagen. Die Vorhersage wird dann mit Ihrer Grundwahrheit/goldenem Standard verglichen.