Statischer Speicher in Python: Erstellen Schleifen neue Instanzen von Variablen im Speicher?

Question

Ich war Python-Skripte ausführen, die mehrere Anrufe auf einige Funktionen machen, sagen F1 (x) und F2 (x), die ein bisschen wie folgt aussehen:

x = LoadData() 

for j in range(N): 
    y = F1(x[j]) 
    z[j] = F2(y) 

    del y 

SaveData(z) 

Leistung ist viel schneller, wenn ich halten die "del y" -Linie. Aber ich verstehe nicht, warum das so ist. Wenn ich nicht "del y" benutze, dann habe ich schnell keinen RAM mehr und muss auf virtuellen Speicher zurückgreifen, und alles wird langsam zum Crawlen. Buy, wenn ich "del y" verwende, dann spüle ich wiederholt und ordne den Speicher für y neu. Was ich gerne tun würde, ist, dass Sie als statischer Speicher sitzen und den Speicher bei jedem F1 (x) -Aufruf wiederverwenden. Aber von dem, was ich sagen kann, passiert das nicht.

Auch nicht sicher, ob es relevant ist, aber meine Daten bestehen aus numpy Arrays.

Answer 1

Ohne die del y benötigen Sie möglicherweise doppelt so viel Speicher. Dies liegt daran, dass y für jeden Durchlauf durch die Schleife an den vorherigen Wert F1 gebunden ist, während der nächste berechnet wird.

Sobald F1 zurückgibt, wird y auf diesen neuen Wert zurückprallen und das alte F1 Ergebnis kann freigegeben werden.

Dies würde bedeuten, dass das Objekt zurück von F1 viel Speicher ganz besetzt

die Schleife für den ersten paar Iterationen Abrollen wie diese

y = F1(x[0]) # F1(x[0]) is calculated, then y is bound to it 
z[j] = F2(y) 
y = F1(x[1]) # y is still bound to F1(x[0]) while F1(x[1]) is computed 
       # The memory for F1(X[0]) is finally freed when y is rebound 
z[j] = F2(y) 

del y ist, wenn eine gute Lösung mit aussehen würde Das ist in Ihrem Fall passiert.

Answer 2

Verwenden Sie für sehr große Werte von Nxrange anstelle von range zum Speichern von Speicher. Sie können auch Funktionen verschachteln, aber ich weiß nicht, ob Ihnen das hilft. : \

x = LoadData() 

for j in xrange(N): 
    z[j] = F2(F1(x[j])) 

SaveData(z) 

Vielleicht unnötige Kopien von Objekten F1 und F2 machen, wäre die beste Art und Weise an Ort und Stelle sein, wie etwas:

x = LoadData() 
for item in x: 
    item.F1() 
    item.F2() 
SaveData(x) 

Leider antworten, wenn möglicherweise nicht hilfreich

Answer 3

Was Sie eigentlich wollen, ist etwas, das in Python seltsam ist - Sie wollen eine Region von Speicher für y zuweisen und den Zeiger auf diese Region an F1() übergeben, damit es diese Region verwenden kann, um den nächsten Wert von zu erstellen y. dies zu vermeiden, die F1() tun es für den neuen Wert von y eigenen Zuteilungs ist, auf die Referenz, die dann in Ihre eigene Variable geschrieben y (die berechnet eigentlich nicht der Wert dessen, was F1() ist, sondern ein Verweis darauf)

Es gibt bereits eine SO-Frage über die Weitergabe durch Verweis in Python: How do I pass a variable by reference?