Ich habe sehr große Arrays, die auf der Festplatte gespeichert werden müssen. Wie kann ich das machen? Ich habe versucht, mit h5py, ich lese die Dokumentation und fand das Problem mit ihm ist seine 2. Dimension kann maximale Anzahl von 1024. Wie kann ich mit einem Array, das Abmessungen von sagen wir 10^5 x 10^5 haben?Wie geht man mit großen Arrays in Python um?
Angenommen, Sie lesen this part of the documentation. Dies bedeutet nicht, dass es eine allgemeine maximale Größe von 1024 für die zweite Dimension gibt. Es ist nur ein Beispiel für die Verwendung von veränderbaren Datenmengen.
Die pro-Achse Grenze für HDF5 (und h5py) ist 2^64 Elemente, wie in der Dokumentation auf resizable datasets gelesen werden kann.
Was bedeutet "pro Achse Grenze von 2^64 Elemente"? @Hannes Ovren – Kavan
Es bedeutet, dass jede Dimension eine Größe haben kann, die höchstens 2^64 ist. Das ist eine sehr sehr große Zahl. –
Nein. Sie können ungefähr 10^19 Zeilen haben, wenn Sie möchten. –
Was Sie wirklich suchen, ist ein * multidimensionales Array *, richtig? Überprüfen Sie diese Antwort: http://StackOverflow.com/A/1062629/742269 –