Numpy-Array vs. C++ - Vektor in Speicher-Effizienz

Question

Welches Objekt ist in der Regel kleiner im Speicher bei genau den gleichen Daten: ein numpy Array mit dtype int64 oder ein C++ Vektor des Typs int? Zum Beispiel:

v = np.array([34, 23]) 
std::vector<int> v { 34,23 }; 

Answer 1

Es effektiv 2 Teile an ein np.array - Dem Objekt-Overhead und Attribute wie Form und Schritte, und einen Datenpuffer. Der erste hat ungefähr die gleiche Größe für alle Arrays, der zweite skaliert mit der Anzahl der Elemente (und der Größe jedes Elements). In numpy ist der Datenpuffer unabhängig von der Array-Form 1d.

Mit nur 2 Elementen ist der Overhead-Teil Ihres Beispielarrays wahrscheinlich größer als der Datenpuffer. Aber mit 1000 Elementen geht das Größenverhältnis in die andere Richtung.

Wenn Sie das Array mit np.save speichern, erhalten Sie eine grobe Vorstellung von der Speicherbelegung. Dieses Dateiformat schreibt einen Header-Puffer (256 Bytes?), Und der Rest ist der Datenpuffer.

Ich bin weniger vertraut mit C++ - Speicher, obwohl ich denke, dass das transparenter ist (wenn Sie die Sprache kennen).

Aber denken Sie daran, Effizienz beim Speichern eines Arrays ist nur ein Teil der Geschichte. In der Praxis müssen Sie über die Speicherbelegung nachdenken, wenn Sie Mathematik und Indizierung durchführen. Die ndarray Unterscheidung zwischen view und copy macht es schwieriger vorherzusagen, wie viel Speicher verwendet wird.

In [1155]: np.save('test.npy',np.array([1,2])) 

In [1156]: ls -l test.npy 
-rw-rw-r-- 1 paul paul 88 Jun 30 17:08 test.npy 

In [1157]: np.save('test.npy',np.arange(1000)) 

In [1158]: ls -l test.npy 
-rw-rw-r-- 1 paul paul 4080 Jun 30 17:08 test.npy 

Das sieht aus wie 80 Bytes Header und 4 * len Bytes für die Daten.