Wie behandelt man Codierungen mit Python Requests Bibliothek

Question

Ich habe viel zu lange mit Codierungen gekämpft, und heute möchte ich die mentale Block weit offen brechen.

Im Moment benutze ich Requests, um eine Reihe von Websites zu kratzen, und von dem, was ich sagen kann, verwendet die HTTP-Header, um die Codierungen, die die Seiten verwenden, zurück zu chardet, wenn die Website die Header fehlen. Von dort dekodiert er den heruntergeladenen Bytecode und übergibt mir dann hilfreich ein Unicode-Objekt in r.text.

Alles gut.

Aber wo ich bin verwirrt ist, dass es aus ich auf den Text einige Arbeit zu tun und es dann auf die Standardausgabe drucken, eine Codierung bereitstellt, wenn ich drucken:

print foo.encode('utf-8') 

Das Problem ist, dass, wenn ich tun das, was gedruckt wird, ist durcheinander. Im Folgenden erwarte ich eine endash zwischen dem Wort ‚Entscheidungen‘ zu bekommen und ‚Standard‘:

Declaratory judgmentsStandard of review. 

Stattdessen hat ich die boxy Sache mit den vier kleinen Zahlen in ihm. Es scheint nicht hier natürlich zu zeigen, aber ich denke, die Zahlen 0097 sind, die dem entspricht, was ich, wenn ich tun:

repr(foo) 
u'Declaratory judgments\x97Standard of review.' 

Also diese Art von Sinn macht, aber wo ist mein endash?

Der Prozess läuft darauf hinaus:

1. Requests lädt eine Seite und decodiert auf intelligente Weise den Text in eine Unicode-Objekt
2. ich mit ihm arbeiten
3. ich es utf-8 kodieren und drucken es aus.

Wo ist das Problem? Das hört sich nach der mythical unicode sandwich an, mir fehlt aber eindeutig etwas.

Answer 1

Sie tun etwas seltsam. \x97 ist ein Emdash in der cp1252 Codierung. In einer Unicode-Zeichenfolge ist es U+0097 END OF GUARDED AREA. Irgendwie lesen Sie cp1252 Bytes als Unicode. Zeigen Sie mehr Code, der Sie in diesen Zustand versetzt hat, und wir können tiefer graben.

PS: Das Unicode-Sandwich ist kaum mythisch, es ist ein Ideal, nach dem man streben sollte! :)