Abkürzungserkennung

Question

Unter welchem ​​Fachbereich der natürlichen Sprachverarbeitung kommt die Abkürzungserkennung? Suche nach Quellen, um die Abkürzungserkennung zu lernen. Ich habe Semantik in Betracht gezogen, die grundsätzlich Synonyme erkennt. Also dachte ich, dass ich Semantik mit mehreren Wörtern machen könnte, die erkennen würde, dass "nlp" und "Verarbeitung natürlicher Sprache" ähnlich sind. aber ich habe keine Lösung gefunden, um Mehrwort-Semantik zu machen.

Hinweis: Ich weiß, es ist wirklich einfach, diese Frage zu bewerten, aber versuchen, mein Problem zu verstehen. Ich habe jetzt seit Monaten gekämpft und jede Hilfe ist sehr zu schätzen ...

Thankyou

Answer 1

Vielen Dank an alle, die mir geholfen haben. Ich glaube, ich habe selbst eine Antwort gefunden. Ich vertraue darauf, weil es aus einer Forschungsarbeit der Person stammt, die den Abkürzungs-Erweiterungsalgorithmus für Yahoo! und es zeigt auch Anzeichen für künstliche Intelligenz. Nochmals, danke an alle.

Um die andere im gleichen Boot wie ich, hier ist die Lösung:

SEO by the sea - How search engines might expand abbreviations in search queries

Answer 2

Sie mit einfachen regelbasierte Lösungen beginnen könnten, z.B. Suchen Sie nach Mustern wie "Natural Language Processing (NLP)". Ich erwarte, dass bei einem ausreichend großen Korpus dies einen langen Weg zurücklegen könnte. Und wenn Sie einen Speicherabzug von Wikipedia einschließen ...

Answer 3

(automatisch) Die Erkennung von Abkürzungen ist auch ein wesentliches Teilproblem und die Aufgabe von Satzsegmentierungs- und Tokenisierungsprozessen im Allgemeinen, d. H .: Satzende von Satzzeichen zu Abkürzungen hinzufügen. Statistische Methoden (NLP) wurden angewendet, um sie erfolgreich zu erkennen und zu extrahieren, meist in einer (halb-) überwachten Art und Weise. Z.B. das PUNKT-System, das zur Satzgrenzenerkennung entwickelt wurde, ist in der Lage, Abkürzungen mit hoher Genauigkeit, zu erkennen, basierend auf der Annahme, dass eine große Anzahl von Mehrdeutigkeiten bei der Bestimmung von Satzgrenzen nach der Identifizierung von Abkürzungen eliminiert werden kann (Kiss et al. 2006. Unsupervised Multilingual Sentence Boundary Detection).

Jetzt, bevor ich versuchte, das PUNKT-System oder ähnliches zu modifizieren, versuchte ich nur eine Richtung zu geben. NLP-basiertes Abk. Erkennung. Das oben erwähnte System wendet zum Beispiel Techniken an, um Kollokationsstärken zwischen Tokenpaaren zu messen, die zwei Wörter sein können, aber auch ein Wort und einige Interpunktionszeichen, die als Token behandelt werden. Es basiert alles auf Häufigkeiten und Wahrscheinlichkeiten, obwohl die Ergebnisse der traditionellen Kollokationsanalyse "semantische Forschung erlauben".