Unicode Encode Fehler beim Schreiben von Pandas df nach csv

Question

Ich bereinigt 400 Excel-Dateien und lasen sie in Python mit Pandas und fügte alle Rohdaten in einem großen df.

Dann, wenn ich versuche, es in eine CSV zu exportieren:

df.to_csv("path",header=True,index=False) 

ich diesen Fehler:

UnicodeEncodeError: 'ascii' codec can't encode character u'\xc7' in position 20: ordinal not in range(128) 

Kann jemand einen Weg vorschlagen, dies zu beheben und was es bedeutet?

Dank

Answer 1

Sie haben unicode Werte in Ihrem Datenrahmen. Dateien speichern Bytes, was bedeutet, dass alle unicode in Bytes codiert werden müssen, bevor sie in einer Datei gespeichert werden können. Sie müssen eine Codierung angeben, z. B. utf-8. Zum Beispiel

df.to_csv('path', header=True, index=False, encoding='utf-8') 

Wenn Sie eine Codierung nicht angeben, dann die Codierung durch df.to_csv standardmäßig ascii in Python2 oder utf-8 in Python3 verwendet.

Answer 2

eine Antwort Hinzufügen von mir selbst helfen Google es später:

Ein Trick, der mir geholfen hat zunächst eine problematische Serie zu codieren, ist es dann zu utf-8 dekodieren zurück. Wie:

df['crumbs'] = df['crumbs'].map(lambda x: x.encode('unicode-escape').decode('utf-8')) 

Dies würde dazu führen, dass der Datenrahmen auch korrekt gedruckt wird.