Den Wert des Verlusts drucken, der von einem Optimierer in TensorFlow minimiert wird

Question

Ich möchte den Wert des Verlusts drucken, der von einem Optimierer minimiert wurde. Hier ein Beispiel:

LEARNING_RATE = 0.0001 
MOMENTUM = 0.999 

mean_squared_error = tf.reduce_mean(tf.square(tf.sub(predictions, training_outputs))) 
train_step = tf.train.MomentumOptimizer(LEARNING_RATE, MOMENTUM).minimize(mean_squared_error) 

# Load data 
features = ... 
labels = ... 

# Launch TensorFlow session 
with tf.Session() as session: 
    session.run(initialize) 

    print("Begin training...") 
    session.run(train_step, feed_dict={training_inputs: features, training_outputs: labels}) 
    print("Finished training! The mean squared error is: _____") 

Nun, da ich mean_squared_error minimiert haben, wie kann ich seine minimierten Wert drucken?

Answer 1

Der einfachste Weg, um einen Verlust zu visualisieren ist eine skalare Zusammenfassung davon zu erstellen:

mean_squared_error = tf.reduce_mean(tf.square(tf.sub(predictions, training_outputs))) 
loss_summ = tf.scalar_summary("loss", mean_squared_error) 

Sie dann erstellen Sie ein Schriftsteller in der TensorFlow Sitzung und die Zusammenfassung loss_summ zum sess.run() Anruf hinzuzufügen. Sie erhalten dann den Wert zurück in mse_val und können es ausdrucken.

with tf.Session() as session: 
    writer = tf.train.SummaryWriter("log", session.graph_def) 
    session.run(initialize) 

    print("Begin training...") 
    _, mse_val, summ = session.run([train_step, mean_squared_error, loss_summ], feed_dict={training_inputs: features, training_outputs: labels}) 
    writer.add_summary(summ) 
    print("Finished training! The mean squared error is: %f" % mse_val) 

Als Bonus können Sie auch die Entwicklung des Verlustes in TensorBoard, visualisieren tensorboard --logdir log durch Ausführen (lesen this tutorial für weitere Details).

P.S: Ihr Code läuft nur 1 Iteration des Trainings, möchten Sie vielleicht eine Schleife hinzufügen.