Textklassifizierung. TFIDF und Naive Bayes?

Question

Ich versuche eine Textklassifizierung Aufgabe, wo ich Trainingsdaten von rund 500 Restaurant Bewertungen haben, die in 12 Kategorien gekennzeichnet sind. Ich verbrachte mehr Zeit damit, TF.IDF und Kosinusähnlichkeit für die Klassifizierung von Testdaten zu implementieren, nur um einige sehr schlechte Ergebnisse zu erhalten (0.4 F-measure). Mit der Zeit nicht auf meiner Seite, muss ich etwas wesentlich effektiveres implementieren, das keine steile Lernkurve hat. Ich überlege, die TF.IDF-Werte in Verbindung mit Naive Bayes zu verwenden. Klingt das sinnvoll? Ich weiß, wenn ich meine Daten im richtigen Format bekomme, kann ich das mit Scikit lernen. Gibt es noch etwas, das Sie empfehlen, denke ich?

Vielen Dank.

Answer 1

Sie sollten versuchen, fasttext zu verwenden: https://pypi.python.org/pypi/fasttext. Es kann verwendet werden, um Text wie folgt zu klassifizieren:

(vergessen Sie nicht, vortrainierte Modell hier https://s3-us-west-1.amazonaws.com/fasttext-vectors/wiki.en.zip durch Ändern der Sprache zum Download, wenn es nicht Englisch ist)

import fasttext 

model = fasttext.load_model('wiki.en.bin') # the name of the pretrained model 

classifier = fasttext.supervised('train.txt', 'model', label_prefix='__label__') 

result = classifier.test('test.txt') 
print ('P@1:', result.precision) 
print ('R@1:', result.recall) 
print ('Number of examples:', result.nexamples) 

Jede Zeile in der Trainings- und Testsätze sollte wie folgt sein:

__label__classname blah Ihr Restaurant Bewertung bla bla für jede Kategorie