Welche Codierung verwenden normale Python-Strings?

Question

Ich weiß, dass Django Unicode-Zeichenfolgen im gesamten Framework anstelle von normalen Python-Zeichenfolgen verwendet. Welche Codierung verwenden normale Python-Zeichenfolgen? und warum benutzen sie nicht Unicode?

Answer 1

Von Python 3.0 auf alle Zeichenfolgen sind Unicode standardmäßig, gibt es auch den Byte-Datentyp (Python documentation).

Also die Python-Entwickler denken, dass die Verwendung von Unicode ist eine gute Idee, dass es nicht allgemein in Python 2 verwendet wird, ist vor allem aufgrund der Abwärtskompatibilität. Es hat auch Auswirkungen auf die Leistung.

Answer 2

Vor Python 3.0 war die Zeichenfolgencodierung standardmäßig ascii, konnte jedoch geändert werden. Unicode-Zeichenfolgenliterale waren u"...". Das war dumm.

Answer 3

Python 2.x-Strings sind 8-Bit, nichts mehr. Die Codierung kann variieren (obwohl ASCII angenommen wird). Ich denke die Gründe sind historisch. Nur wenige Sprachen, insbesondere Sprachen aus dem letzten Jahrhundert, verwenden Unicode sofort.

In Python 3 sind alle Zeichenfolgen Unicode.

Answer 4

Normale Python-Strings (Python 2.x str) haben keine Codierung: Sie sind Rohdaten. In Python 3 werden diese als "Bytes" bezeichnet, was eine genaue Beschreibung ist, da sie einfach Sequenzen von Bytes sind, die in beliebige Kodierung kodiert werden können (mehrere sind üblich!) Oder nicht-textuelle Daten insgesamt.

Für die Darstellung Text, möchten Sie Unicode-Strings, nicht Byte-Strings. Mit "Unicode-Strings" meine ich unicode Instanzen in Python 2 und str Instanzen in Python 3. Unicode-Strings sind Sequenzen von Unicode-Codepoints, die abstrakt ohne eine Codierung dargestellt werden; Dies ist gut geeignet für die Darstellung von Text.

Bytestrings sind wichtig, um Daten für die Übertragung über ein Netzwerk oder das Schreiben in eine Datei oder was auch immer darzustellen, können Sie keine abstrakte Darstellung von Unicode haben, benötigen Sie eine konkrete Darstellung von Bytes. Obwohl sie oft verwendet werden, um Text zu speichern und darzustellen, ist dies zumindest ein wenig unartig.

Diese ganze Situation durch die Tatsache erschwert, dass, während Sie sollte wiederum Unicode in Bytes Python wird versuchen, durch encode Aufruf und schalten Bytes in Unicode mit decode, dies für Sie automatisch zu tun, um eine globale Codierung Sie, dass festlegen ist standardmäßig ASCII, was die sicherste Wahl ist. Verlassen Sie sich nie auf Ihren Code und ändern Sie ihn niemals in eine flexiblere Codierung - dekodieren Sie explizit, wenn Sie eine Bytefolge erhalten, und kodieren Sie, wenn Sie eine Zeichenfolge irgendwo extern senden müssen.

Answer 5

Hey! Ich würde gerne ein paar Zeug zu anderen Antworten hinzufügen, leider habe ich noch nicht genug rep, um das richtig zu tun :-(

FWIW, Mike Graham Post ist ziemlich gut und das ist wahrscheinlich das, was Sie zuerst lesen sollten.

Hier einige Kommentare.

1. Die Notwendigkeit Unicode-Literale mit "u" in 2.x Präfix ziemlich leicht in der letzten (2.6+) 2.x Pythons entfernt from __future__ import unicode_literals
2. Simialrly, ASCII ist nur die Standardquellencodierung.Python versteht eine Vielzahl von Codierungshinweisen, einschließlich des Emacs-Stils # -*- coding: utf-8 -*-. Für weitere Informationen siehe PEP 0263. Das Ändern der Quellencodierung wirkt sich darauf aus, wie Unicode-Literale (unabhängig von ihrem Präfix oder fehlenden Präfix, wie von Punkt 1 betroffen) interpretiert werden. In Py3k ist die Standardkodierung UTF-8.
3. Python verwendet natürlich intern eine Kodierung für Unicode-Strings (str in py3k, unicode in 2.x), weil zu einem bestimmten Zeitpunkt Dinge in den Speicher geschrieben werden müssen. Idealerweise würde dies für den Endnutzer niemals offensichtlich sein. Leider ist nichts perfekt und man kann gelegentlich Probleme damit bekommen: speziell wenn man funky Squiggles außerhalb der Unicode Base Multilingual Plane verwendet. Seit Python 2.2 hatten wir, was Wide Builds und Narrow baut; Diese Namen beziehen sich auf den Typ, der intern zum Speichern von Unicode-Codepunkten verwendet wird. Wide Builds verwenden UCS-4, das 4 Byte zum Speichern eines Unicode-Codepunkts verwendet. (Dies bedeutet, UCS-4-Code-Einheit Größe ist 4 Bytes oder 32 Bits.) Schmale Builds verwenden UCS-2. UCS-2 hat nur 16 Bits und kann daher nicht alle Unicode-Codepunkte genau codieren (es ist wie UTF-16, außer ohne die Ersatzpaare). Überprüfen Sie den Wert von sys.maxunicode. Wenn es 1114111 ist, haben Sie einen breiten Build (der alle Unicode korrekt darstellen kann). Wenn es weniger ist, nun, ärgern Sie sich nicht allzu sehr. Der BMP (Codestellen 0x0000 bis 0xFFFF) deckt die Bedürfnisse der meisten Menschen ab. Weitere Informationen finden Sie unter PEP 0261.

Answer 6

welche Codierung sind normale Python Strings benutzen?

In Python 3.x

str ist Unicode. Dies kann entweder UTF-16 oder UTF-32 sein, je nachdem, ob Ihr Python-Interpreter mit "schmalen" oder "breiten" Unicode-Zeichen erstellt wurde.

Die Windows-Version von CPython verwendet UTF-16. Auf Unix-ähnlichen Systemen ist UTF-32 tendenziell bevorzugt.

In Python 2.x

str ist ein String Typenbyte wie C char. Die Codierung wird nicht von der Sprache definiert, sondern von der Standardcodierung Ihres Gebietsschemas. Oder was auch immer der MIME-Zeichensatz des Dokuments ist, das du aus dem Internet geholt hast. Oder, wenn Sie eine Zeichenfolge von einer Funktion wie struct.pack erhalten, ist es binäre Daten, und hat keine sinnvolle Zeichencodierung überhaupt.

unicode Zeichenfolgen in 2.x entsprechen str in 3.x.

und warum verwenden sie nicht Unicode?

Weil Python (geringfügig) Unicode vorausgeht. Und weil Guido alle wichtigen rückwärtskompatiblen Änderungen für 3.0 speichern wollte. Zeichenfolgen in 3.x Do verwenden standardmäßig Unicode.