Ermitteln, wie viel Speicher von einem Objekt in Python verwendet wird

Question

Wie würden Sie herausfinden, wie viel Speicher von einem Objekt verwendet wird? Ich weiß, dass es möglich ist, herauszufinden, wie viel von einem Codeblock verwendet wird, aber nicht von einem instanziierten Objekt (zu jeder Zeit während seines Lebens), was ich möchte.

Answer 1

Es gibt keine einfache Möglichkeit, die Speichergröße eines Python-Objekts herauszufinden. Eines der Probleme, die Sie finden können, ist, dass Python-Objekte - wie Listen und Dicts - Verweise auf andere Python-Objekte haben können (in diesem Fall, was wäre Ihre Größe? Die Größe, die die Größe jedes Objekts enthält oder nicht?). Es gibt einige Verweise auf Overhead- und interne Strukturen, die sich auf Objekttypen und Garbage Collection beziehen. Schließlich haben einige Python-Objekte nicht offensichtliche Verhaltensweisen. Zum Beispiel reservieren Listen Speicherplatz für mehr Objekte als sie haben, die meiste Zeit; dicts sind noch komplizierter, da sie auf verschiedene Arten funktionieren können (sie haben eine andere Implementierung für eine kleine Anzahl von Schlüsseln und manchmal überschneiden sie Einträge).

Es gibt eine big chunk of code (und eine updated big chunk of code) da draußen zu versuchen, die Größe eines Python-Objekts im Speicher am besten zu nähern. Es gibt auch einige simpler approximations. Aber sie werden immer Annäherungen sein.

Sie können auch einige old description about PyObject (die interne C-Struktur, die praktisch alle Python-Objekte darstellt) überprüfen.

Answer 2

Ich habe keine persönliche Erfahrung mit einem der folgenden, aber eine einfache Suche nach einem „Python [Speicher] Profiler“ Ausbeute:

• PySizer „ein Speicher-Profiler für Python“ gefunden unter http://pysizer.8325.org/. Die Seite scheint jedoch anzuzeigen, dass das Projekt eine Zeit lang nicht aktualisiert wurde, und bezieht sich auf ...

• Heapy, "Unterstützung [ing] Debuggen und Optimierung in Bezug auf Speicherprobleme in Python-Programmen" gefunden bei http://guppy-pe.sourceforge.net/#Heapy.

Hoffe, dass hilft.

Answer 3

Ein anderer Ansatz ist Gurke zu verwenden. Siehe this answer zu einem Duplikat dieser Frage.

Answer 4

Try this:

sys.getsizeof(object) 

getsizeof() ruft das __sizeof__ Methode des Objekts und fügt einen zusätzlichen Garbage Collector Kopf wenn das Objekt vom Garbage Collector verwaltet wird.

A recursive recipe

Answer 5

Dies muss auf die Objekte mit Sorgfalt, da eine Überschreibung verwendet werden __sizeof__ irreführend sein könnte.

Mit der bregman.suite geben einige Tests mit sys.getsizeof eine Kopie eines Array-Objekts (Daten) in einer Objektinstanz als größer als das Objekt selbst (mfcc) aus.

>>> mfcc = MelFrequencyCepstrum(filepath, params) 
>>> data = mfcc.X[:] 
>>> sys.getsizeof(mfcc) 
64 
>>> sys.getsizeof(mfcc.X) 
>>>80 
>>> sys.getsizeof(data) 
80 
>>> mfcc 
<bregman.features.MelFrequencyCepstrum object at 0x104ad3e90> 

Answer 6

Für große Objekte, die Sie eine etwas grobe, aber effektive Methode verwenden: überprüfen, wie viel Speicher Ihre Python-Prozess im System belegt, löschen Sie das Objekt und vergleichen.

Diese Methode hat viele Nachteile, aber es gibt Ihnen eine sehr schnelle Schätzung für sehr große Objekte.