Sprache des Texts erkennen

Question

Gibt es eine C# -Bibliothek, die die Sprache eines bestimmten Texts erkennen kann? für einen Eingabetext "This is a sentence" sollte es die Sprache als "English" erkennen. Oder für "Esto es una sentencia" sollte es die Sprache als "Spanish" erkennen.

Ich verstehe, dass Spracherkennung aus Text kein deterministisches Problem ist. Aber sowohl Google Translate als auch Bing Translator haben eine "Auto detect" -Option, die die Eingabesprache am besten schätzt. Gibt es etwas ähnliches öffentlich verfügbar, vorzugsweise in C#?

Answer 1

Sie wollen einen maschinellen Lernalgorithmus, der auf versteckten Markov-Ketten basiert, mehrere Texte in verschiedenen Sprachen verarbeiten.

Dann, wenn es zu dem unbekannten Text kommt, ist die Sprache, die die engere "Punktzahl" hat, der Gewinner.

Answer 2

Hier haben Sie einen einfachen Detektor basierend auf Bigramm-Statistik (im Grunde bedeutet, aus einem großen Satz zu lernen, die häufig auf jeder Sprache mehr Bigramme auftreten und dann diejenigen, die in einem Stück Text zählen, um Ihre zuvor erfassten Werte zu vergleichen):

http://allantech.blogspot.com/2007/07/automatic-language-detection.html

Dies ist wahrscheinlich gut genug für viele (die meisten?) Anwendungen und erfordert keinen Internetzugang.

Natürlich wird es schlechter als Google oder Bing-Algorithmus (die selbst nicht groß sind). Wenn Sie ausgezeichnete Erkennungsleistung benötigen, müssten Sie sowohl viel harte Arbeit als auch riesige Datenmengen erledigen.

Die andere Option wäre die Verwendung von Google oder Bing-APIs, wenn Ihre App über einen Internetzugang verfügt.

Answer 3

Spracherkennung ist eine ziemlich schwierige Sache zu tun.

Einige Sprachen sind aufgrund der verwendeten Diakritika und Digraphen/Trigraphen einfacher zu erkennen als andere. Zum Beispiel werden double-acute accents fast ausschließlich in ungarischer Sprache verwendet. Die dotless i ‘ ı ’, wird ausschließlich verwendet [Ich denke] in Türkisch, T-Komma (nicht T-Cedilla) wird nur in Rumänisch verwendet, und die eszett ‘ ß ’ tritt nur in deutscher Sprache.

Einige Digraphen, Trigraphen und Tetragraphen sind auch ein gutes Give-Away. Zum Beispiel werden Sie wahrscheinlich ‘ eeuw ’ und ‘ ieuw ’ in erster Linie auf Niederländisch finden und ‘ TSCH ’ und ‘ dsch ’ vor allem in deutscher Sprache usw.

Mehr Werbegeschenke würden gemeinsame Wörter oder gemeinsame Präfixe/Suffixe umfassen, die in eine bestimmte Sprache. Manchmal kann sogar die verwendete Interpunktion helfen, eine Sprache zu bestimmen (Zitat-Stil und Verwendung usw.).

Wenn eine solche Bibliothek existiert würde ich gerne darüber wissen, da ich selbst an einem arbeite.

Answer 4

Es ist ein einfaches Tool Textsprache zu identifizieren: http://www.detectlanguage.com/

Answer 5

Ich habe festgestellt, dass „textcat“ für diese sehr nützlich ist.Ich habe eine PHP-Implementierung, PHP Text Cat, basierend auf dieser this original implementation verwendet, und fand es zuverlässig. Wenn Sie sich die Quellen ansehen, werden Sie feststellen, dass es nicht erschreckend schwierig ist, sie in der Sprache Ihrer Wahl zu implementieren. Die harte Arbeit - die Buchstabenkombinationen, die für eine bestimmte Sprache relevant sind - sind alle als Daten da.

Answer 6

Ja, in der Tat ist TextCat sehr gut für die Spracherkennung. Und es hat viele Implementierungen in verschiedenen Sprachen.

In .Net gab es keine Ports. Also habe ich einen geschrieben: NTextCat (NuGet, Online Demo).

Es ist pure .NET Framework DLL + Befehlszeilenschnittstelle dazu. Standardmäßig verwendet es ein Profil von 14 Sprachen.

Jede Rückmeldung wird sehr geschätzt! Neue Ideen und Feature-Anfragen sind zu begrüßen :)

Answer 7

Bitte geben Sie eine C# -Implementierung hier basierend auf der 3grams Analyse finden:

http://idsyst.hu/development/language_detector.html