Bereich von UTF-8-Zeichen in C++ 11 Regex

Question

Diese Frage ist eine Erweiterung von Do C++11 regular expressions work with UTF-8 strings?

#include <regex> 
if (std::regex_match ("中", std::regex("中"))) // "\u4e2d" also works 
    std::cout << "matched\n"; 

Das Programm auf dem Mac Mountain Lion mit clang++ mit den folgenden Optionen kompiliert wird:

clang++ -std=c++0x -stdlib=libc++ 

Der obige Code funktioniert. Dies ist ein Standardbereich Regex "[一-龠々〆ヵヶ]" für den Abgleich von japanischen Kanji oder chinesischen Schriftzeichen. Es funktioniert in Javascript und Ruby, aber ich kann nicht scheinen Bereiche in C++ 11 arbeiten, auch mit einer ähnlichen Version [\u4E00-\u9fa0]. Der folgende Code stimmt nicht mit der Zeichenfolge überein.

if (std::regex_match ("中", std::regex("[一-龠々〆ヵヶ]"))) 
    std::cout << "range matched\n"; 

Das Ändern der Ländereinstellung hat auch nicht geholfen. Irgendwelche Ideen?

EDIT

So fand ich, dass alle Bereiche, wenn Sie eine + bis zum Ende hinzuzufügen. In diesem Fall [一-龠々〆ヵヶ]+, aber wenn Sie {1}[一-龠々〆ヵヶ]{1} hinzufügen funktioniert es nicht. Außerdem scheint es seine Grenzen zu überschreiten. Es wird nicht lateinischen Zeichen entsprechen, aber es wird は entsprechen, das ist \u306f und ぁ das \u3041 ist. Sie liegen beide unter \u4E00

nhahtdh schlug auch regex_search vor, das auch funktioniert, ohne + hinzuzufügen, aber es läuft immer noch in das gleiche Problem wie oben, indem es Werte außerhalb seines Bereichs zieht. Gespielt mit den Locales auch ein bisschen. Mark Ransom schlägt vor, dass es die UTF-8-Zeichenfolge als eine dumme Menge von Bytes behandelt, ich denke, dass dies möglicherweise das ist, was sie tut.

schieben Weitere die Theorie, dass UTF-8 ist etwas, wie durcheinander bekommen, [a-z]{1} und [a-z]+a Matches, aber nur [一-龠々〆ヵヶ]+ Matches eines der Zeichen, nicht [一-龠々〆ヵヶ]{1}.

Answer 1

In UTF-8 codiert ist die Zeichenfolge "[一-龠々〆ヵヶ]" gleich dieser: "[\xe4\xb8\x80-\xe9\xbe\xa0\xe3\x80\x85\xe3\x80\x86\xe3\x83\xb5\xe3\x83\xb6]". Und das ist nicht die Droid Charakterklasse, die Sie suchen.

Die Zeichenklasse Sie suchen, ist derjenige, der folgendes beinhaltet:

• jedes Zeichen im Bereich U + 4E00..U + 9FA0; oder
• eines der Zeichen 々, 〆, ヵ, ヶ.

der Zeichenklasse Sie ist derjenige angegeben, der folgendes beinhaltet:

• einem der "Zeichen" \ XE4 oder \ XB8; oder
• irgendein "Zeichen" im Bereich \ x80 .. \ xe9; oder
• irgendeines der "Zeichen" \ xbe, \ xa0, \ xe3, \ x80, \ x85, \ xe3 (wieder), \ x80 (wieder), \ x86, \ xe3 (wieder), \ x83, \ xb5, \ xe3 (wieder), \ x83 (wieder), \ xb6.

Messy ist es nicht? Siehst du das Problem?

Das passt nicht zu "lateinischen" Zeichen (ich nehme an, Sie meinen Dinge wie a-z), weil in UTF-8 alle ein einzelnes Byte unter 0x80 verwenden und keines davon in dieser unordentlichen Zeichenklasse ist.

Es passt nicht "中" entweder weil "中" hat drei "Zeichen", und Ihre Regex stimmt nur ein "Zeichen" aus dieser seltsamen langen Liste. Versuchen Sie assert(std::regex_match("中", std::regex("..."))) und Sie werden sehen.

Wenn Sie eine + hinzufügen funktioniert es, weil "中" drei dieser "Zeichen" in Ihrer seltsamen langen Liste hat, und jetzt Ihre Regex entspricht einem oder mehreren.

Wenn Sie stattdessen {1} hinzufügen, stimmt es nicht überein, da wir wieder drei übereinstimmende "Zeichen" gegen eins haben.

Übrigens "中" entspricht "中", weil wir die drei "Zeichen" mit den gleichen drei "Zeichen" in der gleichen Reihenfolge übereinstimmen.

Die Regex mit + wird tatsächlich einige unerwünschte Dinge übereinstimmen, weil es Ordnung nicht kümmert. Jedes Zeichen, das aus dieser Liste von Bytes in UTF-8 erstellt werden kann, wird übereinstimmen. Es entspricht "\xe3\x81\x81" (ぁ U + 3041) und es wird sogar ungültige UTF-8-Eingabe wie "\xe3\xe3\xe3\xe3" übereinstimmen.

Das größere Problem ist, dass Sie eine Regex-Bibliothek verwenden, die nicht einmal Level 1-Unterstützung für Unicode, das absolute Minimum benötigt. Es munges Byte und es gibt nicht viel, das Ihre kostbare kleine Regex darüber tun kann.

Und das noch größere Problem ist, dass Sie eine fest codierte Menge von Zeichen verwenden, um "jedes japanische Kanji oder chinesische Schriftzeichen" anzugeben. Warum nicht die Unicode Script-Eigenschaft dafür verwenden?

R"(\p{Script=Han})"

Oh richtig, das wird nicht mit C++ 11 Regexes arbeiten. Für einen Moment hätte ich fast vergessen, dass diese ärgerlicherweise schlimmer sind als nutzlos mit Unicode.

Was sollten Sie tun?

Sie könnten Ihre Eingabe in eine std::u32string decodieren und für die Anpassung verwenden. Das würde dir nicht diese Unordnung bringen, aber du würdest immer noch Bereiche und Ausnahmen fest codieren, wenn du "eine Menge von Charakteren meinst, die eine bestimmte Eigenschaft teilen".

Ich empfehle Ihnen, über C++ 11 Regexes zu vergessen und eine Bibliothek für reguläre Ausdrücke zu verwenden, die die minimale Unicode-Unterstützung der Ebene 1 hat, wie die in ICU.