TensorFlow Cross-Entropy auf Tutorial

Question

Ich war gerade durch die TensorFlow Tutorial (https://www.tensorflow.org/versions/r0.8/tutorials/mnist/pros/index.html#deep-mnist-for-experts).

Ich habe zwei Fragen zu diesem Thema:

1. Warum es die cost function with y_ * log(y) nicht verwendet? Sollte es nicht y_ * log(y) + (1-y_) * log(1-y) sein?

2. Wie TensorFlow wissen, wie die gradient des cost function berechnen ich verwenden? Sollten wir nicht irgendwo einen Ort haben, an dem wir uns äußern können TensorFlow Wie berechnet man die gradient?

Vielen Dank!

Answer 1

1. Wenn y 1 oder = 0, kann man Y_ verwenden * log (y) + (1-y_) * log (1-y), aber, wenn y One-Hot-Kodierung, y = [0 1] oder [1 0] verwenden wir y_ * log (y). In der Tat sind sie gleich.

2. Alles ist ein Diagramm in TensorFlow einschließlich Ihrer Kostenfunktion.

So jeder Knoten kennt ihren Betrieb und lokalen Gradienten. Tensorflow verwendet Backpropagation (Kettenregel), um den Gradienten mithilfe des Graphen zu berechnen.