Ich kann den folgenden Code in the Deep MNIST for Experts tutorial nicht verstehen.keep_prob in TensorFlow MNIST Tutorial
train_step.run(feed_dict={x: batch[0], y_: batch[1], keep_prob: 0.5})
Was ist der Zweck der keep_prob: 0.5 wenn train_step läuft?
Der Wert keep_prob wird verwendet, um die dropout rate zu steuern, die beim Trainieren des neuronalen Netzwerks verwendet wird. Im Wesentlichen bedeutet dies, dass jede Verbindung zwischen den Schichten (in diesem Fall zwischen der letzten dicht verbundenen Schicht und der Ausleseschicht) nur mit der Wahrscheinlichkeit 0.5 beim Training verwendet wird. Dies reduziert die Überanpassung. Für weitere Informationen über die Theorie des Dropouts können Sie das Original paper by Srivastava et al sehen. Informationen zur Verwendung in TensorFlow finden Sie in der Dokumentation zum Operator tf.nn.dropout().
Der Wert keep_prob wird über einen Platzhalter eingegeben, so dass der gleiche Graph für Training (mit keep_prob = 0.5) und Auswertung (mit keep_prob = 1.0) verwendet werden kann. Eine alternative Möglichkeit, diese Fälle zu behandeln, besteht darin, verschiedene Diagramme für Training und Auswertung zu erstellen: Sehen Sie sich die Verwendung von Dropouts im aktuellen Modell convolutional.py als Beispiel an.
Vielen Dank :-) –