Java oder Python für die Verarbeitung natürlicher Sprache

Question

Ich würde gerne wissen, welche Programmiersprache für die Verarbeitung natürlicher Sprache besser ist. Java oder Python? Ich habe viele Fragen und Antworten diesbezüglich gefunden. Aber ich bin immer noch verloren bei der Auswahl welcher zu verwenden.

Und ich möchte wissen, welche NLP-Bibliothek für Java verwenden, da es viele Bibliotheken (LingPipe, GATE, OpenNLP, StandfordNLP) gibt. Für Python empfehlen die meisten Programmierer NLTK.

Aber wenn ich einige Textverarbeitung oder Informationsextraktion von unstrukturierten Daten (nur frei gebildet plain Englisch Text) tun soll, um einige nützliche Informationen zu erhalten, was ist die beste Option? Java oder Python? Passende Bibliothek?

Aktualisiert

Was ich will, ist zu tun, nützliche Produktinformationen zu extrahieren aus unstrukturierten Daten (zB Benutzer machen verschiedene Formen von Werbung über Handys oder Laptops mit nicht sehr Standardsprache Englisch)

Answer 1

Die Frage ist sehr offen. Das heißt, anstatt einen zu wählen, ist unten ein Vergleich abhängig von der Sprache, die Sie verwenden möchten (da es in beiden Sprachen gute Bibliotheken gibt).

Python

In Bezug auf die Python, der erste Ort, die Sie sehen sollten, ist die Python Natural Language Toolkit. Wie sie in ihrer Beschreibung bemerken, ist NLTK eine führende Plattform für die Erstellung von Python-Programmen für die Arbeit mit menschlichen Sprachdaten. Es bietet benutzerfreundliche Schnittstellen zu über 50 korpora- und lexikalischen Ressourcen wie WordNet sowie eine Reihe von Textverarbeitungsbibliotheken für Klassifizierung, Tokenisierung, Stammdaten, Tagging, Parsing und semantisches Denken.

Es gibt auch einen ausgezeichneten Code, den Sie nachschlagen können, der aus dem Natural Language Toolkit-Projekt von Google stammt, das auf Python basiert. Sie können hier einen Link zu diesem Code finden on GitHub.

Java

Der erste Platz wäre Stanford aussehen Natural Language Processing Group. Die gesamte Software, die dort vertrieben wird, ist in Java geschrieben. Alle neueren Distributionen erfordern Oracle Java 6+ oder OpenJDK 7+. Verteilungspakete enthalten Komponenten für den Aufruf von Befehlszeilen, JAR-Dateien, eine Java-API und Quellcode.

Eine weitere gute Option, die Sie hier in vielen Lernumgebungen sehen (allgemeine Option), ist Weka. Weka ist eine Sammlung von maschinellen Lernalgorithmen für Data-Mining-Aufgaben. Die Algorithmen können entweder direkt auf einen Datensatz angewendet oder aus Ihrem eigenen Java-Code aufgerufen werden. Weka enthält Tools zur Datenvorverarbeitung, Klassifizierung, Regression, Clustering, Assoziationsregeln und Visualisierung. Es ist auch gut geeignet, um neue Maschinenlernschemata zu entwickeln.

Answer 2

Java vs Python für NLP ist sehr eine Vorliebe oder Notwendigkeit. Je nach Unternehmen/Projekten müssen Sie das eine oder das andere verwenden und oft gibt es keine große Auswahl, es sei denn, Sie leiten ein Projekt.

Andere als NLTK (www.nltk.org), gibt es tatsächlich andere Bibliotheken für die Textverarbeitung in python:

• TextBlob: http://textblob.readthedocs.org/en/dev/
• GENSIM: http://radimrehurek.com/gensim/
• Muster: http://www.clips.ua.ac.be/pattern
• Spacy: : http://spacy.io
• orange: http://orange.biolab.si/features/
• Ananas: https://github.com/proycon/pynlpl

(nähere Informationen siehe https://pypi.python.org/pypi?%3Aaction=search&term=natural+language+processing&submit=search)

Für Java, moment gibt es Tonnen von anderen, aber hier ist eine andere Liste:

• Freeling: http://nlp.lsi.upc.edu/freeling/
• OpenNLP: http://opennlp.apache.org/
• LingPipe: http://alias-i.com/lingpipe/
• Stanford CoreNLP: http://stanfordnlp.github.io/CoreNLP/ (kommt mit Wrapper für andere Sprachen, Python enthalten)
• CogComp NLP : https://github.com/CogComp/cogcomp-nlp

Dies ist ein schöner Vergleich zum Basiskettenverarbeitung finden http://nltk.googlecode.com/svn/trunk/doc/howto/nlp-python.html

Ein nützlicher Vergleich von GATE vs UIMA vs OpenNLP finden https://www.assembla.com/spaces/extraction-of-cost-data/wiki/Gate-vs-UIMA-vs-OpenNLP?version=4

Wenn Sie unsicher sind, welche die Sprache für NLP gehen persönlich sage ich, „jede Sprache, die Sie die gewünschte Analyse/Ausgang geben“, Which language or tools to learn for natural language processing?

Hier ist ein schönes neues (2017) von NLP-Tools finden Sie unter: https://github.com/alvations/awesome-community-curated-nlp

Eine ältere Liste der NLP-Tools (2013): http://web.archive.org/web/20130703190201/http://yauhenklimovich.wordpress.com/2013/05/20/tools-nlp

---

Anders als Sprachverarbeitungstools, würden Sie sehr viel brauchen machine learning Werkzeuge in NLP Pipelines zu integrieren.

Es gibt eine ganze Reihe in Python und Java, und wieder ist es an Vorlieben und ob die Bibliotheken sind benutzerfreundlich genug:

Machine Learning Bibliotheken in Python:

• Sklearn (Scikit-Learn): http://scikit-learn.org/stable/
• Milch: http://luispedro.org/software/milk
• Scipy: http://www.scipy.org/
• Theano: http://deeplearning.net/software/theano/
• PyML: http://pyml.sourceforge.net/
• pyBrain: http://pybrain.org/
• Graphlab erstellen (Commerical-Tool, sondern frei akademische Lizenz für 1 Jahr): https://dato.com/products/create/

(mehr siehe https://pypi.python.org/pypi?%3Aaction=search&term=machine+learning&submit=search)

• Weka: http://www.cs.waikato.ac.nz/ml/weka/index.html
• Mallet: http://mallet.cs.umass.edu/
• Mahout: https://mahout.apache.org/

---

Mit den jüngsten (2015) deep learning tsunami in NLP, betrachten Sie könnten möglicherweise: https://en.wikipedia.org/wiki/Comparison_of_deep_learning_software

ich vermeiden, würde aus Nicht-Bevorzugung/Neutralität tief Lernmittel auflistet.

---

Andere Fragen Stackoverflow, der auch für NLP/ML-Tools gefragt:

• Machine Learning and Natural Language Processing
• What are good starting points for someone interested in natural language processing?
• Natural language processing
• Natural Language Processing in Java (NLP)
• Is there a good natural language processing library
• Simple Natural Language Processing Startup for Java
• What libraries offer basic or advanced NLP methods?
• Latest good languages and books for Natural Language Processing, the basics
• (Für NER) Entity Extraction/Recognition with free tools while feeding Lucene Index
• (mit PHP) NLP programming tools using PHP?
• (Ruby) https://stackoverflow.com/questions/3776361/ruby-nlp-libraries