Importieren von großen Dateien in Pandas

Question

Ich habe eine 1,5 GB .DAT-Datei, die ich als Pandas Datenframe importieren muss, ich bin in Speicherprobleme (8 GB RAM). Wie kann ich die Datendatei in Blöcke zerlegen, um eine Analyse durchzuführen?

Answer 1

pd.read_csv('file.csv', chunksize = x) 

gibt einen Iterator x Linien von file.csv zu einem Zeitpunkt, zu geben.