UTF-8-Zeichen aus Bytestream lesen

Question

Gegeben ein Strom von Bytes (Generator, Datei usw.) Wie kann ich ein einzelnes codiertes Zeichen utf-8 lesen?

• Diese Operation muss die Bytes dieses Zeichens aus dem Stream konsumieren.
• Diese Operation darf keine Bytes des Streams verbrauchen, die das erste Zeichen überschreiten.
• Diese Operation sollte auf jedem Unicode-Zeichen erfolgreich sein.

Ich konnte diesen Ansatz durch meine eigene utf-8 Dekodierungsfunktion rollen, aber ich würde nicht das Rad neu zu erfinden bevorzugen, da muß ich diese Funktionalität bin sicher, dass bereits an anderer Stelle utf-8 Strings analysieren verwendet werden.

Answer 1

Wickeln Sie den Strom in eine TextIOWrapper mit encoding='utf8', dann rufen Sie .read(1) darauf.

Das geht davon aus, dass Sie mit einem BufferedIOBase oder etwas Ducktyp damit kompatibel sind (d. H. Hat eine read() Methode). Wenn Sie einen Generator oder Iterator haben, müssen Sie möglicherweise die Schnittstelle anpassen.

Beispiel:

from io import TextIOWrapper 

with open('/path/to/file', 'rb') as f: 
    wf = TextIOWrapper(f, 'utf-8') 
    wf._CHUNK_SIZE = 1 # Implementation detail, may not work everywhere 

    wf.read(1) # gives next utf-8 encoded character 
    f.read(1) # gives next byte