Ich habe angefangen, eine fast-rcnn in TF (VGG16 basiert) zu implementieren. Während ich lerne, habe ich Speicherprobleme, wenn ich versuche, mich über alle Ebenen hinweg zu verbreiten. Aber Test funktioniert gut. (Ich habe eine Gforce GTX 1060 mit 6G RAM)Wie wird die Rückausbreitung von Tensorflow implementiert? (Speicherprobleme)
Ich fragte mich, wie kommt? Benötigt TF Saves das zweimalige Speichern von Parametern für das Training?
Es ist wegen der Aktivierung. Während der Weitergabe in Vorwärtsrichtung müssen Sie nur die letzte Aktivierungs- schicht speichern, sodass die Speichernutzung unabhängig von der Tiefe ist. Um Gradienten zu berechnen, müssen Sie Aktivierungen für alle Ebenen speichern, sodass die Speicherkosten mit der Netzwerktiefe zunehmen.
Die Speicherprobleme in Backpropagation Schritt können entstehen, weil:
Jede Backpropagation Schritt dauert etwa zweimal den Speicher und Rechenzeit als der Vorwärtspropagation Schritt.
Aus dieser video entnommen, die auch ein schönes Diagramm hat, das es erklärt.