TensorFlow Custom Model Optimizer, der NaN zurückgibt. Warum?

Question

Ich möchte weights und exponents für ein individuelles Modell optimal lernen, die ich angelegt habe:

weights = tf.Variable(tf.zeros([t.num_features, 1], dtype=tf.float64)) 
exponents = tf.Variable(tf.ones([t.num_features, 1], dtype=tf.float64)) 

# works fine: 
pred = tf.matmul(x, weights) 

# doesn't work: 
x_to_exponent = tf.mul(tf.sign(x), tf.pow(tf.abs(x), tf.transpose(exponents))) 
pred = tf.matmul(x_to_exponent, weights) 

cost_function = tf.reduce_mean(tf.abs(pred-y_)) 
optimizer = tf.train.GradientDescentOptimizer(t.LEARNING_RATE).minimize(cost_function) 

Das Problem, das ist, wenn es einen negativen Wert Null in x ist der Optimierer das Gewicht als NaN zurückgibt. Wenn ich einfach 0,0001 addiere, wenn x = 0, dann funktioniert alles wie erwartet. Aber sollte ich das wirklich tun müssen? Sollte der TensorFlow-Optimierer damit nicht umgehen können?

Ich habe festgestellt, Wikipedia zeigt keine activation functions, wo x zu einem Exponenten genommen wird. Warum gibt es keine Aktivierungsfunktion, die wie folgt aussieht?

Für das obige Bild möchte ich, dass mein Programm lernt, dass der korrekte Exponent 0,5 ist.

Answer 1

Dies ist korrektes Verhalten am TensorFlow-Teil, da der Gradient dort unendlich ist (und viele Berechnungen, die mathematisch Unendlich sein sollten, am Ende NaN wegen unbestimmter Grenzen).

Wenn Sie das Problem umgehen möchten, funktioniert möglicherweise eine leicht verallgemeinerte Version des Gradienten-Clipping. Sie können die Steigungen über Optimizer.compute_gradients zu bekommen, sie manuell wie

safe_grad = tf.clip_by_value(tf.select(tf.is_nan(grad), 0, grad), -lim, lim) 

und dann die abgeschnitten Gradienten Optimizer.apply_gradients gelangen über etwas stutzen. Das Clipping wird notwendig sein, um nicht für Werte nahe der Singularität zu explodieren, wo der Gradient beliebig groß sein kann.

Warnung: Es kann nicht garantiert werden, dass dies funktioniert, insbesondere in tieferen Netzwerken, in denen die Nans große Bereiche des Netzwerks verschmutzen können.