Python 3.x über

Question

# -*- coding: utf-8 -*- 

import urllib.request as request 

import re 

url = "http://jjo.kr/users/38281748" 

raw_data = request.urlopen(url).read() #Bytes 

decoded = raw_data.decode("utf-8") 

print(decoded) 

---

kodiert, ich habe versucht, HTML Informationen über diese URL zu bekommen, aber ich habe Fehlermeldungen.

UnicodeEncodeError: 'cp949' codec can't encode character '\ufeff' in position 2313: illegal multibyte sequence

Am ich Missverständnis das fuction decode()?

Nach der Python 3.5.2 Standard Library dekodieren "Return eine Zeichenfolge aus den gegebenen Bytes decodiert.".

Aber ich habe CP949 anstelle einer UTF-8-Zeichenfolge.

Kann mir jemand sagen, was mit meinem Code nicht stimmt?

Answer 1

Sie haben eine Unicode-Zeichenfolge, indem Sie die Byte-Zeichenfolge dekodieren.

Aber wie Sie versuchen, es zu drucken, Python Verwendung cp949 Codierung (weil es Ihre stdout Codierung ist = sys.stdout.encoding)

Es gibt \ufeff (ZERO WIDTH NO-BREAK SPACE), die nicht in CP949 Codierung dargestellt werden kann.

>>> import unicodedata 
>>> unicodedata.name('\ufeff') 
'ZERO WIDTH NO-BREAK SPACE' 

Sie können solche Zeichen durch Codierung mit ignore, replace Fehler-Handler ignorieren/ersetzen.

import sys 

decoded = raw_data.decode("utf-8") 
decoded = decoded.encode(sys.stdout.encoding, 'ignore').decode(sys.stdout.encoding) 
print(decoded) 

Answer 2

Die decodierte Zeichenfolge enthält ein \uFEFF Zeichen, das eine Byte-Reihenfolge-Markierung ist. Ich habe keine Ahnung, warum es in der Mitte der Seite auftritt, aber die Codierung funktioniert nicht.

Entfernen Sie es mit:

decoded = decoded.replace('\ufeff', '') 

Und es wird wahrscheinlich funktionieren.