Ich habe 2 Texte wie untensyntaktische Ähnlichkeit/Abstand zwischen 2 Sätze/string/Text mit nltk
Text1: John mag Apfel
Text2: Mike hasst Orange
Wenn Sie überprüfen Sie über 2 Texte, beide sind syntaktisch ähnlich, aber semantisch haben eine andere Bedeutung.
Ich mag
1) syntaktischen Abstand zwischen zwei Texten
2) Semantic Abstand zwischen zwei Texten
Gibt es eine Möglichkeit zu finden, dies zu tun mit nltk, wie ich Neuling bin NLP ?
Ja, aber nicht beschränkt auf nltk. Eine Möglichkeit, die für die syntaktischen Abstand zu verwenden, ist ein Teil von Speech Tagging (POS-Tagging), die jedes Wort des Satzes zu einem bestimmten Tag Karte: https://en.wikipedia.org/wiki/Part-of-speech_tagging
Zum Beispiel es Ihre Sätze auf diese Karte:
Text1: Nomen Verb Nomen
Text2: Nomen Verb Nomen
Dann können Sie den Abstand dieser beiden Sätze messen.
Und für die semantische, müssen Sie net semantische Wort und Synonyme für jedes Wort des Satzes finden, dann versuchen die Kreuzung von Synonymen für Wörter in jedem Satz
Für die semantische zu finden, möchten Sie vielleicht um Word2vec auszuprobieren. Sie können die Ähnlichkeit der Wörter innerhalb des Satzes sicher mitteln oder Sie können Ihren eigenen Weg finden, die Wörter gemäß ihrer Syntax zu bewerten.
from gensim.models import Word2Vec
model = Word2Vec.load(path/to/your/model)
model.similarity('apple', 'orange')
können Sie eine Referenz für die syntaktische Distanz angeben? Haben wir eine eingebaute Bibliotheksunterstützung? –
Dies ist eine gute Antwort. Vielleicht könnten Sie OP-Vergleichsmethoden für den ersten Fall und ein bestimmtes Wortnetz oder eine Ressource empfehlen? Ich bin sicher, zukünftige Leser werden auch interessiert sein – slezica
Thanx @Masoud für die Bereitstellung der Richtung, nur ein paar Fragen haben, Haben wir eine eingebaute Bibliothek, die die SYNTACTIC Abstand in Nltk berechnet? Wenn nicht, wie misst man dann die Entfernung? irgendeine Referenz/Ressource, die Sie zur Verfügung stellen können? –