Welche Methode sollte ich verwenden, um Wörter in Funktionen für Machine Learning-Anwendungen zu konvertieren?

Question

Ich plane den Aufbau eines Geschlechtsklassifikators. Ich weiß, dass die zwei populären Modelle tf-idf und word2vec sind. Während sich tf-idf auf die Bedeutung eines Wortes in einem Dokument und die Ähnlichkeit von Dokumenten konzentriert, konzentriert sich word2vec mehr auf die Beziehung zwischen Wörtern und deren Ähnlichkeit.

Allerdings scheint keines der Themen perfekt für den Aufbau von Vektorfunktionen zu sein, die für die Geschlechterklassifizierung verwendet werden. Gibt es ein anderes alternatives Vektorisierungsmodell, das für diese Aufgabe geeignet ist?

Answer 1

Ja, es gibt eine andere Alternative zu w2v: GloVe.

Glove steht für Global Vector Embeddings. Als jemand, der diese Technik schon früher gut genutzt hat, würde ich GloVe empfehlen.

GloVe trainiert neuronale Worteinbettungen nicht nur, indem man lokale Fenster betrachtet, sondern berücksichtigt eine viel größere Breite (Größe 30+), wodurch eine viel tiefere Ebene der Semantik in die Einbettung eingebettet wird.

Mit Handschuh, ist es einfach zu Beziehungen wie zum Beispiel: X[man] - X[woman] = X[king] - X[queen], wo diese alle Vektoren sind.

Credits: Handschuh GitHub Seite (unten verlinkt).

Sie können Ihre eigenen GloVe-Einbettungen trainieren, oder Sie können ihre umgeschulten Modelle verwenden. Selbst für bestimmte Domänen scheinen die allgemeinen Modelle einigermaßen gut zu funktionieren, obwohl Sie viel mehr aus Ihren Modellen herausholen würden, wenn Sie sie selbst trainieren würden. Auf der GitHub-Seite finden Sie Anweisungen zum Trainieren Ihrer eigenen Modelle. Es ist sehr leicht.

Zusätzlicher Lesestoff:

• GloVe: Global Vectors for Word Representation
• GloVe repository