Verwendung von Stanford NER in Apache Spark

Question

Wir denken über die Verwendung von Stanford NER für Entity-Extraktion für unsere Domäne. Also müssen wir den Klassifikator neu ausbilden. Wir haben jedoch Apache Spark-Umgebung. Ich frage mich, kann jemand vorschlagen, wie man Stanford NER auf Spark verwendet. Ich benutze Python 2.7 + NLTK.

Jede Antwort würde sehr geschätzt werden.

Answer 1

Die Entwickler von Spark haben Code geschrieben, um Stanford CoreNLP-Annotationen auszuführen. Das GitHub Projekt ist hier: https://github.com/databricks/spark-corenlp