Thread-sicheres Klonen von Netzwerkgewichten in Tensorflow?

Question

Ich habe zwei neuronale Netze, NN1 und NN2, innerhalb des gleichen Tensorflow Graphen. Ich muss die Gewichte von NN2 mit den Gewichten von NN1 aktualisieren. Dazu führe ich session.run([w1_nn2.assign(w1_nn1), w2_nn2.assign(w2_nn1), ...]) aus, wobei wi_nnj die Gewichte sind. Werden all diese Zuweisungen als atomare Operation ausgeführt?

Wenn das nicht der Fall ist (wie ich vermute), wäre das Aufrufen dieser Zuweisungen in einem Python-Thread beim Aufruf von apply_gradients() auf NN1 in einem anderen Thread nicht sicher, oder? Was wäre also der einfachste Weg dies threadsicher zu tun?

Answer 1

Es ist nicht atomar. Wenn Ihre Variable die Größe von GB hat, kann die Operation einige Sekunden dauern. Es ist also seltsam, dass solche großen Ops atomar sind. Auch, manchmal ist es sinnvoll, mehrere Threads zu ermöglichen, die gleiche Variable gleichzeitig zu aktualisieren, wie in getan Hogwild

Es gibt einen Parameter in verschiedenen variablen Update ops, die von simulatanous Update von mehreren Threads zu schützen, wie für variable assign op here

def assign(self, value, use_locking=False): 
    """Assigns a new value to the variable. 
    This is essentially a shortcut for `assign(self, value)`. 
    Args: 
     value: A `Tensor`. The new value for this variable. 
     use_locking: If `True`, use locking during the assignment.