Welchen Effekt hat das Hinzufügen neuer Wortvektoreinbettungen auf einen vorhandenen Einbettungsraum für neuronale Netze?

Question

In Word2Vector werden die Worteinbettungen durch Co-Occurrence und Aktualisieren der Vektordimensionen gelernt, sodass Wörter, die im jeweils anderen Kontext vorkommen, näher zusammenkommen .

Meine Fragen sind:

1) Wenn Sie bereits ein vortrainiert Satz von Einbettungen haben, lassen Sie uns mit 40k Worten eine 100-dimensionalen Raum sagen, können Sie 10 zusätzliche Wörter auf diesem Einbettungsraum hinzufügen, ohne Veränderung die vorhandenen Worteinbettungen. Sie würden also nur die Dimensionen der neuen Wörter mit den vorhandenen Worteinbettungen aktualisieren. Ich denke an dieses Problem in Bezug auf den Algorithmus "Wort 2 Vektor", aber wenn Leute Einblicke haben, wie GLoVe Einbettungen in diesem Fall funktionieren, bin ich immer noch sehr interessiert.

2) Teil 2 der Frage ist; Können Sie dann die NEUEN Worteinbettungen in einem NN verwenden, das mit dem vorherigen Einbettungsset trainiert wurde und vernünftige Ergebnisse erwartet. Wenn ich zum Beispiel ein NN für die Stimmungsanalyse trainiert hätte und das Wort "nervös" vorher nicht im Vokabular gewesen wäre, wäre "nervös" korrekt als "negativ" klassifiziert worden.

Dies ist eine Frage darüber, wie empfindlich (oder robust) NN in Bezug auf die Einbettungen sind. Ich würde mich über jegliche Gedanken/Einsicht/Führung freuen.

Answer 1

Das anfängliche Training verwendete Informationen über bekannte Wörter, um sie in einem nützlichen N-dimensionalen Raum darzustellen.

Es ist natürlich theoretisch möglich, dann neue Informationen über neue Wörter zu verwenden, um ihnen auch Koordinaten im selben Raum zu geben. Sie würden viele verschiedene Beispiele der neuen Wörter wünschen, die zusammen mit den alten Wörtern verwendet werden.

Ob Sie die Positionen der alten Wörter einfrieren wollen, oder lassen Sie sie basierend auf den neuen Beispielen auch in neue Positionen driften, könnte eine wichtige Entscheidung sein. Wenn Sie bereits einen bereits vorhandenen Klassifikator (wie einen Sentiment-Klassifikator) mit den älteren Wörtern trainiert haben und diesen Klassifikator nicht erneut trainieren wollten, möchten Sie wahrscheinlich die alten Wörter an Ort und Stelle fixieren und den Befehl erzwingen neue Wörter in kompatible Positionierung (selbst wenn die neueren kombinierten Textbeispiele sonst die relativen Positionen älterer Wörter ändern würden).

Da nach einem effektiven Train-up der neuen Wörter, sollten sie in der Regel ähnlich ältere Wörter, es wäre vernünftig zu erwarten, Klassifikatoren, die an den alten Wörtern arbeiteten, immer noch etwas nützliches zu den neuen Wörtern. Aber wie gut das funktionieren würde, hängt von vielen Dingen ab, einschließlich davon, wie gut das ursprüngliche Wortsatz alle verallgemeinerbaren "Nachbarschaften" der Bedeutung umfasste. (Wenn die neuen Wörter Bedeutungsschattierungen hervorbringen, von denen es in den alten Wörtern keine Beispiele gab, könnte dieser Bereich des Koordinatenraums verarmt sein, und der Klassifikator hätte vielleicht nie eine gute Menge von Unterscheidungsbeispielen gehabt, so dass die Leistung nacheilen könnte .)