Training sparse Modell mit Keras

Question

Ich versuche, ein spärliches Modell zu trainieren, das heißt, einige der Modellparameter müssen während der Optimierung null bleiben.

Ist es in Keras möglich, eine Maske für die Parameter zu definieren, so dass der Optimierer maskierte nicht aktualisieren würde?

Leider würde das Einfrieren einer Ebene nicht funktionieren, da ich Parameter feinkörniger maskieren muss.

Answer 1

Sie können tf.where verwenden, um elementweise zwischen den Parametern tf.stop_gradient(parameters) auszuwählen.