Warum BOM ist U + FE FF, anstatt U + FF FE?

Question

Also selbst Zeichencodierung ich unterrichte, und ich habe eine vermutlich dumme Frage: Wikipedia sagt

Die Bytereihenfolgemarkierung (BOM) ist ein Unicode-Zeichen U + FEFF BYTE ORDER MARK (BOM), ...

, und ein Diagramm auf dieser Seite schreibt

Encoding  Representation (hexadecimal) 
UTF-8   EF BB BF 
UTF-16 (BE) FE FF 
UTF-16 (LE) FF FE 
... 

ich es ein wenig verwirrt bin. Wie ich weiß, sind die meisten Maschinen mit Intel-CPUs Little-Endian, also warum BOM ist U+FE FF für UTF-16 (BE), anstatt U+EF BB BF für UTF-8 oder U+FF FE für UTF-16 (LE)?

Answer 1

Wie ich weiß, die meisten Maschinen mit Intel-CPUs sind Little-Endian

Intel-CPUs sind nicht die einzigen CPUs auf der Welt. AMD, ARM usw. Und es gibt Big-Endian-CPUs.

warum BOM ist U + FE FF für UTF-16 (BE), anstatt U + EF BB BF für UTF-8 oder U + FF FE für UTF-16 (LE)?

U+FEFF ist die Unicode-Codepunktbezeichnung. FE FF, EF BB BF, FF FE, sind dies Sequenzen von Bytes. U+ gilt nur für Unicode-Codepunktbezeichnungen, nicht für Bytes.

Der numerische Wert von Unicode-Codepoint U+FEFF ZERO WIDTH NO-BREAK SPACE (die Bezeichnung seiner offiziell, nicht U+FEFF BYTE ORDER MARK, obwohl es auch als Stückliste verwendet wird) ist 0xFEFF (65279).

Dieser in UTF-8 codierte Codepunktwert erzeugt drei 8-Bit-Codeunit-Werte 0xEF 0xBB 0xBF, die keinen Endian-Problemen unterliegen, weshalb UTF-8 keine separaten LE- und BE-Varianten hat.

Derselbe Codepunktwert, der in UTF-16 codiert ist, erzeugt einen 16-Bit-Codeunit-Wert 0xFEFF.Da es sich um einen 16-Bit-Multibyte-Wert handelt, unterliegt es bei der Interpretation als zwei 8-Bit-Bytes dem Endian, daher die Varianten LE (0xFF 0xFE) und BE (0xFE 0xFF).

Es wird nicht nur die Stückliste beeinflusst. Alle Codeunits in einer UTF-16-Zeichenfolge sind von Endian betroffen. Die BOM hilft einem Decoder, den für die Codeunits in der gesamten Zeichenfolge verwendeten Endian zu kennen.

UTF-32, das auch Multi-Byte (32-bit) -Codeunits verwendet, unterliegt ebenfalls endian und hat daher auch LE- und BE-Varianten und eine 32-Bit-BOM, um diesen Endian zu Decodern auszudrücken (0xFF 0xFE 0x00 0x00 für LE, 0x00 0x00 0xFE 0xFF für BE). Und ja, wie Sie wahrscheinlich erraten können, gibt es eine Mehrdeutigkeit zwischen der UTF-16LE-Stückliste und der UTF-32LE-Stückliste, wenn Sie nicht vorher wissen, mit welchem ​​UTF Sie es zu tun haben. Eine Stückliste soll den Endian identifizieren, daher der Name "Byte Order Mark", nicht die spezielle Kodierung (obwohl sie üblicherweise für diesen Zweck verwendet wird).

Answer 2

warum BOM U + FE FF für UTF-16 ist (BE)

Es ist nicht. Stückliste ist die Zeichenummer U + FEFF. Es gibt keinen Platz, es ist eine einzelne hexadezimale Zahl, alias 65279. Diese Definition hängt nicht davon ab, welche Sequenz von Bytes verwendet wird, um diese Zeichen in einer bestimmten Kodierung darzustellen.

kommt es vor, daß die hexadezimale Darstellung der Byte-Sequenz, die das Zeichen (*) in UTF-16LE codiert, 0xFE, 0xFF die gleiche Reihenfolge von Ziffern als hexadezimale Darstellung des Zeichennummer hat U+FEFF; das ist nur ein Artefakt von Big-Endianess, es stellt höchstwertigen Inhalt auf der linken Seite, genauso wie Menschen für große [Hexa] Dezimalzahlen.

(* und in der Tat jedes Zeichen in der Basic Multilingual Plane. Es wird haariger, wenn Sie über diesem Bereich gehen, da sie nicht länger fit bleiben in zwei Bytes.)