Wie konvertiert man ein Ein-Byte-Const char * in eine UTF-8-Codierung

Question

Ich habe eine Funktion, die ich eine UTF-8-Zeichenfolge übergeben durch ein Zeichen * übergeben muss, und ich habe den Char-Zeiger auf ein einzelnes Byte Zeichenfolge. Wie kann ich die Zeichenfolge in UTF-8-Codierung in C++ konvertieren? Gibt es einen Code, den ich dazu verwenden kann? Danke!

Answer 1

Um eine Zeichenkette in eine andere Zeichenkodierung zu konvertieren, verwenden Sie eine verschiedene Zeichencodierung Bibliotheken. Eine beliebte Wahl ist iconv (der Standard auf den meisten Linux-Systemen).

Um dies zu tun, müssen Sie zuerst die Codierung Ihrer Eingabe herausfinden. Leider gibt es dafür keine allgemeine Lösung. Wenn die Eingabe nicht ihre Kodierung spezifiziert (wie es zum Beispiel Webseiten im Allgemeinen tun), müssen Sie raten.

Wie zu Ihrer Frage: Sie schreiben, dass Sie die Zeichenfolge von Aufruf readdir auf einem FAT32-Dateisystem erhalten. Ich bin mir nicht ganz sicher, aber ich glaube, readdir wird die Dateinamen zurückgeben, wie sie vom Dateisystem gespeichert werden.Im Fall von FAT/FAT32:

• Die kurzen Dateinamen in einigen DOS-codiert sind code page - die Codepage, wie die Dateien abhängt, in dem geschrieben, gibt es keine Möglichkeit AFAIK von nur das Dateisystem zu erzählen.
• Die langen Dateinamen sind in UTF-16.

Wenn Sie den Standard vfat Linux-Kernel-Modul verwenden, um die FAT32-Partition zugreifen zu können, sollten Sie lange Dateinamen von readdir erhalten (es sei denn, eine Datei nur hat einen 8.3-Namen). Diese können als UTF-16 dekodiert werden. FAT32 speichert intern die langen Dateinamen in UTF-16. Der vfat Treiber wird sie in die Codierung konvertieren, die durch den Mount-Parameter iocharset= gegeben wird (wobei der Standardwert die Standardsystemcodierung ist, glaube ich).

Zusätzliche Informationen:

Sie müssen möglicherweise mit den Mount-Optionen codepage und iocharset (siehe http://linux.die.net/man/8/mount) spielen Dateinamen rechts auf dem FAT32-Volumes zu erhalten. Versuchen Sie, so zu mounten, dass Dateinamen in einer Linux-Konsole korrekt angezeigt werden, und fahren Sie fort. Es gibt einige weitere Erklärungen hier: http://www.nslu2-linux.org/wiki/HowTo/MountFATFileSystems

Answer 2

Nehmen wir an, Sie suchen nach iconv. Wenn Sie den Konverter öffnen (iconv_open), übergeben Sie von und an Codierung. Wenn Sie eine leere Zeichenfolge wie von übergeben, wird es aus dem Gebietsschema konvertieren, das auf Ihrem System verwendet wird, das mit dem Dateisystem übereinstimmen sollte.

Unter Windows haben Sie ziemlich genau das gleiche mit MultiByteToWideChar wo Sie CP_ACP als die Codepage übergeben. Unter Windows können Sie jedoch einfach die Unicode-Version der Funktionen aufrufen, um Unicode sofort zu erhalten, und dann mit WideCharToMultiByte und CP_UTF8 in UTF-8 konvertieren.

Answer 3

Ich denke, das oberste Bit ist auf die 1-Byte-Zeichenfolge festgelegt, so dass die Funktion, die Sie übergeben, erwartet mehr als 1 Byte übergeben wird.

Zuerst die Zeichenfolge in Hex ausgeben.

heißt

unsigned char* str = "your string"; 
for (int i = 0; i < strlen(str); i++) 
    printf("[%02x]", str[i]); 

haben jetzt eine Lese der Wikipedia-Artikel über die UTF8-Codierung, die es gut erklärt.

UTF-8 ist eine variable Breite, bei der jedes Zeichen zwischen 1 und 4 Byte belegen kann.

Konvertieren Sie daher das Hex in Binär und sehen Sie, was der Codepunkt ist.

, d.h. wenn das erste Byte 11110 (binär) startet, erwartet es eine 4-Byte-Zeichenfolge. Da ascii 7-Bit 0-127 ist, ist das oberste Bit immer Null, also sollte es nur 1 Byte geben. Übrigens beginnen die Bytes, die auf das erste Byte in einem breiten Zeichen einer UTF8-Zeichenfolge folgen, "10 ..." für die oberen Bits. Dies sind die Fortsetzungsbytes ... darüber beklagt sich Ihre Funktion ... d.h. die Fortsetzungsbytes fehlen, wenn sie erwartet werden. Also ist die Saite nicht ganz so wahr wie du dachtest.

Sie konvertieren kann mit als jemand iconv vorgeschlagen, oder vielleicht diese Bibliothek http://utfcpp.sourceforge.net/