Devanagaric Textverarbeitung (NLP) wo zu beginnen

Question

Ich bin neu zu Devnagaric NLP, gibt es irgendeine Gruppe oder Ressourcen, die mir helfen würde, mit NLP in Devnagaric Sprache zu beginnen (meist Nepali Sprache oder ähnlich wie Hindi). Ich möchte in der Lage sein, Schriften für Devanagaric zu entwickeln und auch einige Anwendungen zur Schriftbearbeitung zu verwenden. Wenn jemand (der in diesem Bereich arbeitet) mir Ratschläge geben könnte, wäre das sehr bemerkenswert. Vielen Dank im Voraus

Answer 1

Gibt es eine Gruppe oder Ressourcen, die mir helfen würden, mit NLP in Devnagaric Sprache zu beginnen?

Die Bhasa Sanchar project unter Madan Puraskar Pustakalaya hat einen nepalesischen Korpus entwickelt. Sie können einen nepalesischen Korpus für nicht-kommerzielle Zwecke von dem Kontakt anfordern, der in dem obigen Link angegeben ist.

Python's NLTK hat den Hindi-Sprachkorpus. Sie können es importieren

from nltk.corpus import indian 

Für Einblick mit gewinnen basiert NLP Devnagari, empfehle ich Ihnen Forschung durch papers.Nepali eine unterfinanzierte Sprache zu sein, viel Arbeit noch getan werden, und es könnte schwierig sein, zu erhalten Inhalte für das gleiche.

Sie sollten wahrscheinlich in die Spracherkennung, Textklassifizierung, Stimmungsanalyse unter anderem (vorzugsweise basierend auf POS-Tagging-Bibliothek aus dem Korpus) zum Erlernen der Grundlagen suchen.

Für den zweiten Teil der Frage

Ich bin ziemlich sicher, dass Schriftentwicklung nicht unter dem Bereich der Verarbeitung natürlicher Sprache kommt. Meinst du etwas anderes?

Answer 2

Ich bin neu in Devnagaric NLP, Gibt es eine Gruppe oder Ressourcen, die mich mit NLP in Devnagaric Sprache (meistens Nepali oder ähnlich wie Hindi) beginnen würde helfen

können Sie Einbettungen verwenden gegeben von fasttext [https://fasttext.cc/docs/en/pretrained-vectors.html#content] und verwenden Sie einige tiefere Lern-RNN-Modelle wie LSTM für Text-Klassifizierung, Sentiment-Analyse.

Sie können einige Datensätze für benannte Entität recoginition finden Sie hier [http://ltrc.iiit.ac.in/ner-ssea-08/index.cgi?topic=5]

Für indische Sprachen bearbeitet, können Sie hier finden [https://github.com/anoopkunchukuttan/indic_nlp_library]

NLTK unterstützt die indische lanugages, für pos Tagging und nlp Aufgaben im Zusammenhang möglich Siehe hier [http://www.nltk.org/_modules/nltk/corpus/reader/indian.html]