Im CUDA ConvNet können wir die Neuronenaktivierungsfunktion als linear spezifizieren, indem wir neuron=linear[a,b] schreiben, so dass f(x) = ax + b.Wie wird eine lineare Aktivierungsfunktion in TensorFlow verwendet?
Wie erreiche ich das gleiche Ergebnis in TensorFlow?
Die einfachste Möglichkeit zum Schreiben einer linearen Aktivierung in TensorFlow ist die Verwendung von tf.matmul() und tf.add() (oder +). Angenommen, Sie haben eine Matrix der Ausgänge aus der vorhergehenden Schicht (nennen wir es prev_layer) mit Größe batch_size x prev_units und die Größe der linearen Schicht linear_units:
prev_layer = …
linear_W = tf.Variable(tf.truncated_normal([prev_units, linear_units], …))
linear_b = tf.Variable(tf.zeros([linear_units]))
linear_layer = tf.matmul(prev_layer, linear_W) + linear_b
sind linear_b immer Nullen? Was ist der Sinn des Hinzufügens von Nullen? – Brans
Sie sind eine Variable, die anfänglich auf Nullen gesetzt wird, was normalerweise eine gute erste Schätzung für die Verzerrungen ist (wenn keine anderen Informationen vorhanden sind). Wenn Sie das Netzwerk trainieren, wird diese Variable normalerweise auf einen Wert ungleich Null aktualisiert. – mrry