Java-Bibliotheken zum Konvertieren zwischen Zeichenkodierungen

Question

Das Problem, das ich lösen möchte, ist die Konvertierung zwischen Unicode-Speicherarten. Wie ich es verstehe, kann ein Zeichen in UTF-8 durch 1 bis 4 Bytes von Daten repräsentiert werden, während ein Zeichen in UTF-16 in 1-2, zwei Bytes Datenblöcken dargestellt werden kann. Diese variable Länge bedeutet, dass es ein Schmerz ist, zwischen den beiden zu konvertieren und etwas zu produzieren, das in der englischen Sprache vernünftig ist.

Nach was ich suche ist eine Bibliothek, die mir eine Sprache oder ein Gebietsschema und einen Speichermechanismus (UTF-8 usw.) spezifizieren lassen und es ein vernünftigeres Ergebnis erzeugen lassen würde. Träume ich in den Wolken?

Answer 1

Ist String.getBytes(String charsetname) nicht ausreichend?

http://download.oracle.com/javase/1.5.0/docs/api/java/lang/String.html#getBytes(java.lang.String)

Damit können Sie das rohe Bytes eines String in einer bestimmten Codierung erhalten.

String hat einen [Konstruktor] [2], der auch ein Byte-Array und einen Charset-Namen benötigt, damit Sie das zum Dekodieren verwenden können.

[2]: http://download.oracle.com/javase/1.5.0/docs/api/java/lang/String.html#String (byte [], java.lang.String)

Answer 2

Sie meinen wie java.io.Reader/Writer oder java.nio.charset?

Answer 3

Sie können Bytes in einer Codierung in eine Java-Zeichenfolge über den Konstruktor String (byte [], Charset) konvertieren. Unterstützte Zeichensätze sind in java.nio.charset.Charset aufgelistet.

Sie können dann zurück in Bytes mit einer anderen Codierung mit String.getBytes(CharSet) konvertieren.

Zum Beispiel:

byte[] bytesIn = ...; 
String s = new String(bytesIn, Charset.forName("UTF-8"); 
byte[] bytesOut = s.getBytes(Charset.forName("UTF-16")) 

Answer 4

Es ist sinnvoll für viele Zeichensätze. Es gibt immer noch einige, die nicht in Unicode passen, aber nicht viele.

Denken Sie zunächst daran, dass die Bytes keine Zeichen sind, um mit Zeichen umzugehen, die Sie konvertieren müssen. In der Regel besteht die einfachste Möglichkeit darin, einen Byte-Stream in einen Reader (oder Writer) zu schreiben Kodier-/Dekodierungs-Set.

Für eine Liste der direkt unterstützten Kodierungen, here's what comes with the JVM.

Der Schlüssel besteht nicht darin, Standard-Leser und -Schreiber zu verwenden, da sie die Codierung der Plattform verwenden. Wählen Sie stattdessen eine Kodierung. UTF-8 hat eine gute Plattengröße, schlechte Codier-/Decodierleistung; während UTF-32 ist schrecklich auf die Größe der Festplatte und exzellent auf Encoding/Decoding-Leistung. UTF-16 ist so etwas wie ein Kompromiss. Alle UTF-basierten Kodierungen optimieren die Handhabung von ASCII-Zeichen etwas effizienter, so dass UTF-8 UTF-16 schlägt, wenn Sie nur mit ASCII arbeiten.

Beachten Sie, dass Sie keine Bytes in einen neuen Zeichensatz konvertieren können, sie werden in den neuen Zeichensatz "gegossen". Wenn Sie also Bytes in einen neuen Zeichensatz konvertieren möchten, müssen Sie sie in Strings oder Characters umwandeln und die Bytes des Strings im neuen Zeichensatz abfragen.

Eine Möglichkeit, einen Byte-Stream als InputStream mit einem eigenen angegebenen Zeichensatz zu lesen, ist die Verwendung eines InputStreamReader constructed with an alternate character set. Ebenso müssen Sie einen OutputStreamWriter verwenden, der mit einem alternativen Zeichensatz erstellt wurde.

Alle Dateien, die nicht direkt verwaltet werden, sollten den Plattform-Zeichensatz verwenden (da dies wahrscheinlich der Fall ist) und in den Zeichensatz der Wahl konvertiert werden, wenn sie gespeichert oder in das Programm eingegeben werden.