Vergleicht UTF8-codierte Zeichen

Question

Es gibt eine CSV-Datei, die die vielen verschiedenen Sprachen in utf-8 codiert hat. Ich muss die Datei analysieren und auf ungültige Zeichen überprüfen. Ich habe ein Beispielprogramm, das unten geschrieben wird, wie gezeigt ...

int main(void) 
{ 
    string invalidUTF8Chars = ""; // Invalid UTF-8 Chars array. 
    invalidUTF8Chars+= "\u00A0"; 
    invalidUTF8Chars+= "\u005E"; 
    invalidUTF8Chars+= "\u00FE"; 
    invalidUTF8Chars+= "\u00BA"; 
    invalidUTF8Chars+= "\u00AF"; 

    FILE* fp; 
    char ch; 
    fp = fopen("unicodeUTF8TextFile.txt","r"); 

    if(fp != NULL) 
    { 
     while((ch = fgetc(fp)) != EOF) // Reading byte by byte form input file. 
     { 
      //if (strchr(invalidUTF8Chars.c_str(), ch)) // How do I validate here? 
      { 
       printf("Invalid character\n"); 
      } 
     } 
    } 
     return 0; 
} 

Wie vergleiche ich die aus der Datei gegen die ungültige Zeichen lesen Daten?

Answer 1

Wenn strchr() kein Zeichen findet, gibt es einen NULL-Zeiger zurück. Was Sie tun müssen, um zu überprüfen, ob die Rückkehr ein NULL-Zeiger war oder nicht:

if(strchr(invalidUTF8Chars.c_str(), ch) == nullptr){ 
    printf("Invalid character\n"); 
} 

Hier ist die strchr() Referenz für Ihre Bequemlichkeit.

Answer 2

Ungültiges Zeichen für UTF-8 bedeutet möglicherweise, dass die UTF-8-Codierung ungültig ist und keinem Zeichen entspricht oder dass die UTF-8-Decodierung zu einem Zeichen führt, das nicht gewünscht wird.

Sie sind an der zweiten Variante interessiert, bei der jedes Zeichen in UTF-8 als ein oder mehrere Bytes codiert ist, dh "\ u005E" ist ein Byte in UTF-8 und die anderen sind 2 Byte.

So können Sie nicht einzelne Bytes in Ihrem Beispiel ablehnen, würde aber entweder müssen Unicode-Zeichen entschlüsseln oder alles als UTF-8 lesen und dann die Probleme finden, mit so etwas wie:

if (strstr(readFile, u8"\u00A0") != nullptr || strstr(readFile, u8"\u005E") != nullptr ...) printf("Found bad character\n");