Ich habe eine Datei (in GBs) und möchte nur 500MB davon auslesen. Kann ich das irgendwie machen?pandas - Datei nur bis zu einem bestimmten Limit lesen
PS: Ich dachte daran, die ersten Zeilen des Datensatzes zu lesen. Sehen Sie, wie viel Speicher es verwendet und erhalten Sie dementsprechend die Anzahl der Zeilen. Ich suche nach einem Weg, der diesen Ansatz vermeiden kann.
Sie Generator hier verwenden können Zeilen aus einer Datei in einem Speicher effizient zu lesen, Sie zu dieser Lazy Method for Reading Big File in Python?
beziehen oder Sie f.read (Anzahl der Zeilen) von Zeile zu lesen, lässt verwenden können Angenommen, Sie ersten 100 Zeilen in einer Datei
fname='your file name'
with open(fname) as f:
lines=100
content = f.read(lines)
print content
oder
unter Verwendung Pandas nrows (Anzahl der Zeilen)
012.385 lesen wollen