Wie man Nanverlust löst?

Question

Problem

Ich bin ein Tief Neural Network auf dem MNIST laufen, wo der Verlust wie folgt definiert:

cost = tf.reduce_mean(tf.nn.softmax_cross_entropy_with_logits(pred, label))

Das Programm scheint korrekt zu funktionieren, bis ich einen nan Verlust im 10000+ bekommen Minibatch. Manchmal läuft das Programm bis zum Ende korrekt. Ich denke, tf.nn.softmax_cross_entropy_with_logits gibt mir diesen Fehler. Dies ist seltsam, weil der Code nur mul und add Operationen enthält.

Mögliche Lösung

Vielleicht kann ich verwenden:

if cost == "nan": 
    optimizer = an empty optimizer 
else: 
    ... 
    optimizer = real optimizer 

Aber ich kann nicht die Art von nan finden. Wie kann ich überprüfen, ob eine Variable nan ist oder nicht?

Wie sonst kann ich dieses Problem lösen?

Answer 1

Ich habe Ihren Code oder Daten nicht. Aber tf.nn.softmax_cross_entropy_with_logits sollte mit einer gültigen Wahrscheinlichkeitsverteilung stabil sein (mehr Info here). Ich nehme an, dass Ihre Daten diese Anforderung nicht erfüllen. Ein analoges Problem wurde ebenfalls diskutiert here. Welche würden Sie führen entweder zu:

1. Ihre eigene softmax_cross_entropy_with_logits Funktion implementieren, z.B. versuchen (source):

   epsilon = tf.constant(value=0.00001, shape=shape) 
   logits = logits + epsilon 
   softmax = tf.nn.softmax(logits) 
   cross_entropy = -tf.reduce_sum(labels * tf.log(softmax), reduction_indices=[1]) 
   

2. Aktualisieren Sie Ihre Daten, so dass sie eine gültige Wahrscheinlichkeitsverteilung hat

Answer 2

Prüfen Sie Ihre Lernrate. Je größer Ihr Netzwerk, desto mehr Parameter müssen Sie lernen. Das bedeutet, dass Sie auch die Lernrate verringern müssen.

Answer 3

Der Grund, warum Sie NaN bekommen, ist höchstwahrscheinlich, dass Sie irgendwo in Ihrer Kostenfunktion oder softmax versuchen, ein Protokoll von Null zu nehmen, die keine Zahl ist. Um Ihre spezifische Frage zum Nachweis von NaN zu beantworten, verfügt Python jedoch über eine eingebaute Fähigkeit, im Mathematikmodul nach NaN zu suchen. Zum Beispiel:

import math 
val = float('nan') 
val 
if math.isnan(val): 
    print('Detected NaN') 
    import pdb; pdb.set_trace() # Break into debugger to look around 

Answer 4

finde ich ein ähnliches Problem hier TensorFlow cross_entropy NaN problem

Dank der Autor user1111929

tf.nn.softmax_cross_entropy_with_logits => -tf.reduce_sum(y_*tf.log(y_conv)) 

der Berechnung der Quer Entropie tatsächlich eine schreckliche Art und Weise ist. In einigen Stichproben konnten bestimmte Klassen nach einiger Zeit mit Sicherheit ausgeschlossen werden, was zu y_conv = 0 für diese Stichprobe führte. Das ist normalerweise kein Problem, da Sie sich nicht für diese interessieren, aber in der Art, wie cross_entropy dort geschrieben ist, ergibt es 0 * log (0) für dieses spezielle Sample/Klasse. Daher das NaN.

Ersetzen es mit

cross_entropy = -tf.reduce_sum(y_*tf.log(y_conv + 1e-10)) 

Oder

cross_entropy = -tf.reduce_sum(y_*tf.log(tf.clip_by_value(y_conv,1e-10,1.0))) 

Gelöst nan Problem.