Hinzufügen der Aktivierung Regularisierung Tensorflow-Ebene

Question

Einige Modelle, wie Sparse Autoencoder, erfordern Aktivierung Regularisierung Aber ich kann keine API finden, die Aktivierung einer Schicht regularize.

Gibt es eine Möglichkeit, einen benutzerdefinierten Regularizer hinzuzufügen? Oder sind Schichtaktivierungen für geeignete Größen?

Ich bin mir dessen bewusst tensorflow auf Gewicht l2 Regularisierung gelten

Answer 1

Es hängt wirklich davon ab, was Sie genau erreichen wollen:

• tf.contrib.layers.apply_regularization können Sie einen Regularisator und eine Reihe von Tensoren kombinieren auf welche es angewendet werden sollte.
• tf.contrib.layers.l2_regularizer können Sie den Bereich definieren, auf den der L2 angewendet werden soll.
• Aber im Wesentlichen ist ein Regularizer nur etwas zu der Kostenfunktion hinzugefügt werden, so dass jede Funktion (Tensor), die Sie hinzufügen, um die Kostenfunktion kann als ein Regularizer betrachtet werden und berücksichtigt werden.