Wie schreibe ich riesige Datenrahmen in Pandas

Question

Ich habe Pandas Dataframe Größe von 21909, 20037 (Zeile, Spalte), und ich möchte es in folgenden Code csv konvertieren.

nach dieser Codezeile wird mein Computer hängen und ich bekomme keine Ausgabe. Gibt es eine Möglichkeit, solch einen riesigen Datenrahmen optimal zu schreiben?

Systemkonfiguration

• OS: ubuntu 16.04 LTS
• OS Typ: 64-Bit-
• Speicher: 7,7 GiB
• Prozessor: Intel® Core ™ i5-4590 CPU @ 3,30 GHz × 4

Answer 1

können Sie chunksize parameter verwenden:

df.to_csv("outputFile.csv", encoding='utf-8', chunksize=2000) 

chunksize: int oder Keine

Reihen zu einem Zeitpunkt, zu schreiben