Wie wird die Lernrate zu Zusammenfassungen hinzugefügt?

Question

Wie überwache ich die Lernrate von AdamOptimizer? In TensorBoard: Visualizing Learning wird gesagt, dass I

benötigen jeweils

Diese sammeln durch scalar_summary ops zu den Knoten, die Ausgangs die Lernrate und den Verlust zu befestigen.

Wie kann ich das tun?

Answer 1

Ich denke, so etwas wie in der Graphik folgende fein funktionieren würde:

with tf.name_scope("learning_rate"): 
    global_step = tf.Variable(0) 
    decay_steps = 1000 # setup your decay step 
    decay_rate = .95 # setup your decay rate 
    learning_rate = tf.train.exponential_decay(0.01, global_step, decay_steps, decay_rate, staircase=True, "learning_rate") 
tf.scalar_summary('learning_rate', learning_rate) 

(Natürlich, damit es funktioniert, ist es zu tf.merge_all_summaries() und tf.train.SummaryWriter verwenden, erfordern würde die Zusammenfassungen in das Protokoll am Ende zu schreiben)