Verknüpfen von mehreren Entitäten Name Finder mit OpenNLP

Question

Zuerst ein wenig Kontext: Ich versuche, Straßenadressen in einem Korpus von Dokumenten zu identifizieren, und wir beschlossen, dass die offensichtliche Lösung hierfür wäre eine NLP (Apache OpenNLP in diese verwenden Case) Tool, um dies zu erreichen und bisher sieht alles gut aus, obwohl wir das Modell noch mit vielen Dokumenten trainieren müssen, aber das ist nicht wirklich ein Problem. Wir haben die Lösung verbessert, indem wir einen zusätzlichen Schritt für die Adressvalidierung hinzugefügt haben, indem wir den Parser USAddress von Datamade verwendet haben. Mein größtes Problem ist die Tatsache, dass die Adressen für sich nichts sind ohne einen Ort neben ihnen, manchmal wird der Ort im Text angegeben und wir werden davon ausgehen, dass dies oft passiert.

Hier kommt meine Frage: Gibt es eine Möglichkeit, Koreferenz zu verwenden, um die Entitäten in den Text zu verbinden? Oder besser noch: Gibt es eine Möglichkeit, willkürliche Wörter im Text zu kommentieren und sie als eine Einheit zu identifizieren?

Ich habe an der Apache OpenNLP Dokumentation suchen, aber ... es ist ziemlich dünn und ich denke, es braucht noch etwas Arbeit.

Answer 1

Ok, einige Monate später! Es war nicht Coref was ich suchte ... was ich eigentlich suchte war Relation Extraction (Information Extraction). Ich benutzte MITIE (BinaryRelation) und das hat den Trick gemacht, ich trainierte mein eigenes Modell mit dem Brat Annotation Tool und ich bekam einen F1 Score von 0.81. Ziemlich ordentlich ...

Answer 2

OpenNLP bietet keine Koreferenz Auflösung Modul.
Sie müssen entweder Stanford oder Illinois oder Berkeley System verwenden, um die Aufgabe zu erfüllen. Es kann sein, dass sie nicht funktionieren, Sie müssen möglicherweise einige Parameter tunen oder beaufsichtigtes Training durchführen, um eine angemessene Leistung zu erzielen.

@edit
Dank @Alaye für den Hinweis auf, dass OpenNLP einen HZVref Modul verfügt, um weitere Informationen zu seiner Antwort zu sehen.

Dank

Answer 3

Wenn Sie Koreferenz für dieses Problem verwenden möchten, können Sie einen Blick auf diese blog

aber eine einfachere Lösung wäre mit einem Satz Detektor + RegEx oder einen Ort NER + Satz Detektor haben kann (Angenommen, Adressen sind in einer einzigen Zeile)

Ich denke, die US-Adressen können mit einem regulären Ausdruck identifiziert werden und sobald die Regex übereinstimmt, können Sie Opennlp Satzdetektor verwenden, um die gesamte Adresszeile zu drucken.

Ebenso können Sie NER Modell von opennlp bereitgestellt verwenden Orte zu finden und den Satz drucken Sie wollen.

Hoffe, das hilft!

bearbeiten

diese Github Repo machte es für uns einfach. Hör zu!