Wenn ich hdf5 Datei mit Pandas mit folgendem Code erstellen:Warum, wenn ich mehrere leere Pandas-Serien in hdf5 lege, ist die Größe von hdf5 so groß?
import pandas as pd
store = pd.HDFStore("store.h5")
for x in range(1000):
store["name"+str(x)] = pd.Series()
alle Serien sind leer, also warum „store.h5“ Datei nimmt 1,1 GB Speicherplatz auf hardrive?
Kurzversion: Sie haben einen Fehler gefunden. Zitiert this bug on GitHub:
... ein bisschen ein hackjob erforderlich (pytables nicht der Länge Null Objekte mag)
ich diesen Fehler auf meinem Rechner wiedergeben kann. Ändern Sie einfach Ihren Code zu diesem:
import pandas as pd
store = pd.HDFStore("store.h5")
for x in range(1000):
store["name"+str(x)] = pd.Series([1,2])
Ergebnisse in einem vernünftigen Megabyte-Datei. Ich kann keinen offenen Fehler auf Github finden; Sie könnten versuchen, es zu melden.
Ich nehme an, Sie bereits mit dem Problem in Ihrem Code beschäftigt haben, aber wenn Sie nicht haben, dann sollten Sie überprüfen, um nur sicherstellen, dass keine Array-Dimensionen Null sind, bevor ein Objekt zu speichern:
toStore=pd.Series()
assert not np.prod(toStore.shape)==0, 'Tried to store an empty object!'