An diesen line wird[Tensorflow]: cifar10_multi_gpu_train.py - unbeabsichtigter Verlust Berichterstattung
jeder Verlust für jeden Turm in dem Multi-GPU berechnetAllerdings sind diese Verluste nicht gemittelt, und es scheint, als ob der Verlust von der letzten GPU loss zurückgegeben wird.
Ist dies absichtlich (wenn ja, warum?) Oder ist es ein Fehler im Code?
Bei dieser line, beachten Sie, dass Verlust in anderen Namen Bereichen ist (tf.name_scope ('% s_% d'% (cifar10.TOWER_NAME, i))); Wenn ich also richtig verstehe, ist es nicht nur der Verlust für die letzte GPU; stattdessen werden alle Verluste unter einem entsprechenden Namensumfang für jede GPU verwendet.
Jeder Turm (entsprechend jeder GPU) wird einen Verlust haben, der zur Berechnung des Gradienten verwendet wird. Verluste werden nicht gemittelt; stattdessen werden alle Gradienten für alle Türme in Zeile 196 gemittelt.
Beachten Sie, dass es in dieser Abbildung aus dem Lernprogramm keine Aggregation für alle individuellen Verluste gibt, es sind die Gradienten, die gemittelt werden.
Aber 'loss' ist ein Python-Variable, einen Verlust von einem bestimmten Namespace zeigt (nämlich die i-te GPU)? –
Laut dem Code ist Verlust keine Python-Variable, sondern ein Tensor, der von tower_loss (scope) zurückgegeben wird. –
Aber entspricht das nicht nur einem Turm - und nicht dem durchschnittlichen Verlust, der über alle Türme berechnet wird? –