Python lesen Nicht-ASCII-Textdatei

Question

Ich versuche, eine Textdatei zu laden, die mit

content=open("file.txt","r").read() 

einige deutsche Buchstaben enthält, die in dieser Fehlermeldung führt

UnicodeDecodeError: 'ascii' codec can't decode byte 0xc3 in position 26: ordinal not in range(128) 

, wenn ich die Datei ändern Um nur ASCII-Zeichen zu enthalten, funktioniert alles wie erwartet.

Apperently

content=open("file.txt","rb").read() 

oder

content=open("file.txt","r",encoding="utf-8").read() 

beides mit dem Job.

Warum ist es möglich, mit "binary" -Modus zu lesen und das gleiche Ergebnis wie mit utf-8-Codierung zu erhalten?

Answer 1

ASCII ist auf Zeichen im Bereich von [0,128] beschränkt. Wenn Sie versuchen, ein Byte zu dekodieren, das außerhalb dieses Bereichs liegt, wird dieser Fehler angezeigt.

Wenn Sie die Zeichenfolge als Byte einlesen, erweitern Sie den zulässigen Zeichenbereich auf [0,256]. So wird Ihr \ 0xc3-Zeichen Ã jetzt fehlerfrei eingelesen. Aber obwohl es zu funktionieren scheint, ist es immer noch nicht "korrekt".

Wenn Ihre Strings tatsächlich Unicode-codiert sind, besteht die Möglichkeit, dass ein Multibyte-Zeichen enthalten ist, dh ein Zeichen, dessen Byte-Repräsentation tatsächlich mehrere Bytes umfasst.

In diesem Fall ist der Unterschied zwischen dem Lesen einer Datei als Byte-String und der richtigen Dekodierung offensichtlich.

Ein Charakter wie folgt aus: è

Wird in zwei Bytes gelesen werden, aber richtig decodiert wird, wird ein Zeichen sein:

bytes = bytes('č', encoding='utf-8') 

print(len(bytes))     # 2 
print(len(bytes.decode('utf-8'))) # 1 

Answer 2

In Python 3 verwendet der Modus 'r' und keine Kodierung, verwendet nur eine Standardkodierung, in diesem Fall ASCII. Im Modus 'rb' wird die Datei als Byte gelesen und es wird nicht versucht, sie als Zeichenkette zu interpretieren.