Gibt es einen Standard für die Annotation von Text mit NLP-Konzepten?

Question

Ich dachte daran, einen Dienst zu entwickeln, der beliebigen Text mit verschiedenen NLP-basierten Konzepten wie POS-Tagging oder word2vec-Vektoren anreichern kann.

Es sollte später auch auf Ontologien erweitert werden.

Ich frage mich, ob es einige Standards gibt, wie man verschiedene "Darstellungen" von Text in Form von "Tokens", "Lemmas" oder Ontologien "ausdrückt".

Ich googelte eine ganze Weile, um etwas zu finden, aber war nicht erfolgreich.

Vielleicht könnte mir jemand hier ein paar Tipps geben.

Answer 1

Nicht sicher zu verstehen, was Sie mit "Darstellungen" meinen, aber vielleicht T-SNE ist etwas, was Sie sehen möchten.

Zum Beispiel: http://cs.stanford.edu/people/karpathy/tsnejs/wordvecs.html
Auch this Stackoverflow Post gibt ein einfaches Beispiel mit GENSIM & TSNE in Python

Answer 2

ich die UIMA gefunden (http://uima.apache.org/) Standard, der willkürlich "Anmerkungen" des Textes zum Ausdruck bringen kann. ermöglicht also das auszudrücken: - Lemmata - Token - word2vec - Konzepte

Answer 3

DKPro Core bietet eine einheitliche UIMA basierte Typisierung, die einheitlich Sprache zum Ausdruck bringt. Sie stellen verschiedene Wrapper für verschiedene NLP-Frameworks bereit, um sie leicht austauschen zu können.

Werfen Sie einen Blick auf their typesystem. Beispielsweise stellt DKPro Core einen Typ für Lemma, Token, POS, benannte Entität usw. bereit.