Suchen von Unicode-Text mit Regex

Question

Das Durchsuchen einer Datei, die in Hindi (Devanagri) (UTF-16) geschrieben wird, führte zu dem folgenden Problem.

Die Datei enthält:

त्रास ततत जुग नींद ना हा बु

Beachten Sie, dass das erste Zeichen 'त्र' ist ein mehrere Codepunkt त + ् + र Jetzt, während Suche nach 'त' Ich erhalte 4 Treffer einschließlich des त des ersten Chars. Ich benutze Java.

Wie kann ich nach 'त' s suchen, die nicht Teil mehrerer Codepunktzeichen sind?

Jede Hilfe wird geschätzt. :)

Answer 1

Sie können dies mit Unicode-Eigenschaften tun, glaube ich.

त(?!\p{M}+) 

Sollte die त Codepunkt entsprechen, solange sie nicht durch irgendwelche Codepunkte in der M Kategorie folgt, die Zeichen sind bestimmt mit anderen Zeichen kombiniert werden. Es verwendet ein negatives Lookahead, um diese Behauptung zu machen.

E: und wenn das nicht sofort funktioniert, versuchen

\uxxxx(?!\p{M}+) 

Wo die xxxx die Nummer des त Codepunkt des Symbols ist.

Answer 2

Es scheint, dass die Glyphe 'त्र' tatsächlich eine Ligatur oder Konjunktion ist, kein Mehrfachcodepunkt. Also ich denke, Sie erhalten das erwartete Ergebnis (es sei denn, Sie möchten Glyphen übereinstimmen). Siehe http://en.wikipedia.org/wiki/Devanagari#Conjuncts.