Messung semantischer Ähnlichkeit zwischen zwei Phrasen

Question

Ich möchte semantische Ähnlichkeit zwischen zwei Sätze/Sätze zu messen. Gibt es einen Rahmen, den ich direkt und zuverlässig nutzen kann?

Ich habe bereits this question ausgecheckt, aber es ist ziemlich alt und ich konnte nicht wirklich hilfreiche Antwort dort finden. Es gab one link, aber ich fand das unzuverlässig.

zB:
Ich habe einen Satz: Filz zerdrückt
Ich habe mehrere Möglichkeiten: Kraft nach innen, pulverisiert, emotional zerstört, Umformen usw.
ich den Begriff/Satz mit der höchsten Ähnlichkeit mit dem ersten finden möchten .
Die Antwort hier ist: emotional zerstört.

Das größere Bild ist: welches Bild von FrameNet entspricht das gegebene Verb identifizieren, gemäß seiner Verwendung in einem Satz, den ich will.

Update: Ich fand this library sehr nützlich Ähnlichkeit zwischen zwei Wörtern zu messen. Auch der ConceptNet-Ähnlichkeitsmechanismus ist sehr gut.

und this library für

zwischen den Sätzen semantische Ähnlichkeitsmeßeinrichtung Wenn jemand irgendwelche Erkenntnisse hat bitte teilen.

Answer 1

Dies ist ein sehr kompliziertes Problem.

Die wichtigste Technik, die ich mir vorstellen kann (bevor sie in komplizierter NLP Prozesse gehen) wäre Cosinus (oder jede andere Metrik) Ähnlichkeit der Sätze zu jedem Paar anzuwenden. Offensichtlich wäre diese Lösung im Moment aufgrund des nicht übereinstimmenden Problems sehr ineffizient: Die Sätze könnten sich auf dasselbe Konzept mit anderen Wörtern beziehen.

um dieses Problem zu lösen, sollten Sie die ursprüngliche Darstellung jeder Phrase mit einem mehr „conceptual“, was bedeutet verwandeln. Eine Option wäre, jedes Wort mit seinen Synonymen zu erweitern (dh unter Verwendung von WordNet, eine andere Option ist die Anwendung von Metriken wie der Verteilungssemantik DS (http://liawww.epfl.ch/Publications/Archive/Besanconetal2001.pdf), die die Darstellung jedes Terms um so wahrscheinlicher erweitern, je mehr Wörter damit vorkommen.

Beispiel: Eine Darstellung eines Dokuments: {"Auto", "Rennen"} würde mit Synonymen in {"Auto", "Automobil", "Rasse"} umgewandelt werden. Während mit DS wäre es etwa so: { „Auto“, „Rad“, „Straße“, „Pilot“, ...}

Offensichtlich ist diese Umwandlung nicht binär sein. Jeder Begriff wird einige zugehörige Gewichte haben.

ich hoffe, das h Ellen.

Answer 2

Vielleicht könnte die cortical.io API bei Ihrem Problem helfen. Der Ansatz hier ist, dass jedes Wort in einen semantischen Fingerabdruck umgewandelt wird, der die Bedeutung von ihm mit 16K semantischen Merkmalen charakterisiert. Sätze, Sätze oder längere Texte werden durch ODER-Verknüpfung der Wort-Fingerabdrücke in Fingerabdrücke umgewandelt. Nach dieser Umwandlung in eine (numerische) binäre Vektorrepräsentation kann die semantische Distanz leicht unter Verwendung von Abstandsmaßen wie Euklidischer Abstand oder Kosinusähnlichkeit berechnet werden. Alle notwendigen Konvertierungs- und Vergleichsfunktionen werden von der API bereitgestellt.