NaN von sparse_softmax_cross_entropy_with_logits in Tensorflow

Question

Ich erhalte NaN, wenn ich die sparse_softmax_cross_entropy_with_logits Verlustfunktion in tensorflow zu nutzen versuchen. Ich habe ein einfaches Netzwerk, so etwas wie:

layer = tf.nn.relu(tf.matmul(inputs, W1) + b1) 
layer = tf.nn.relu(tf.matmul(inputs, W2) + b2) 
logits = tf.matmul(inputs, W3) + b3 
loss = tf.sparse_softmax_cross_entropy_with_logits(logits, labels) 

Ich habe viele Klassen (~ 10000), so dass ich denke ich bin immer NaN weil die logit in mindestens eine meiner Beispiele korrigieren Klasse entsprechend Null gekürzt wurde . Gibt es eine Möglichkeit, dies zu vermeiden?

Answer 1

Es stellt sich tatsächlich heraus, dass einige meiner Etiketten außer Reichweite waren (zum Beispiel ein Etikett von 14000, wenn meine Logits Matrix nur 150 x 10000). Es stellt sich heraus, dass dies eher zu einem NaN als zu einem Fehler führt.

Answer 2

tf.sparse_softmax_cross_entropy_with_logits behandelt den Fall von log(0) für Sie, Sie müssen sich nicht darum kümmern.

Normalerweise ist ein NaN aufgrund einer hohen Lernrate des Optimierungsalgorithmus. Versuchen Sie es zu senken, bis NaN Fehler verschwinden und der Verlust beginnt

Answer 3

Der NaN Fehler zu verringern, wahrscheinlich tritt auf, wenn eine der softmaxed Logits auf 0 abgeschnitten wird, wie Sie gesagt haben, und dann führt er log (0) zu berechnen, die Kreuz-Entropie-Fehler.

Um dies zu vermeiden, wie es in this other answer vorgeschlagen wird, könnten Sie die Werte des Softmax-Ausgangs so abschneiden, dass sie niemals Null sind.

out = tf.clip_by_value(out,1e-10,100.0) 

Oder Sie könnten eine kleine Konstante in den mit Nullen zu vermeiden:

out = out + 1e-10 

Das Problem damit ist, dass die softmax Funktion auf dem Logits intern von sparse_softmax_cross_entropy_with_logits() angelegt wird, so können Sie nicht ihr Verhalten ändern .

Um dies zu umgehen, den Cross Entropy Fehler selbst codieren und die Konstante 1e-10 zum Ausgang des Softmax hinzufügen, nicht zu den Logits.

loss = -tf.reduce_sum(labels*tf.log(tf.nn.softmax(logits) + 1e-10)) 

Beachten Sie, dass mit der sparse_softmax_cross_entropy_with_logits() Funktion der Variable labels der numerische Wert des Etiketts war, aber wenn man den Quer Entropieverlust selbst implementieren, müssen labels die One-Hot-Codierung dieser numerischen Etiketten sein.

Update: Ich habe die Antwort dank dem Kommentar von @mdaoust korrigiert. Wie er sagte, sind die Nullen nur relevant, nachdem die Softmax-Funktion auf die Logits angewendet wurde, nicht vorher.