Unterschied zwischen Dichte- und Aktivierungsschicht in Keras

Question

Ich frage mich, was der Unterschied zwischen Aktivierungsebene und Dichteebene in Keras war.

Da Activation Layer eine vollständig verbundene Ebene zu sein scheint und Dense über einen Parameter verfügt, um eine Aktivierungsfunktion zu übergeben, was ist die beste Vorgehensweise?

Lasst uns ein fictionnal Netzwerk wie folgt vorstellen: Eingang -> Dense -> Dropout -> sollte letzte Schicht letzte Schicht sein: Dichte (Aktivierung = softmax) oder Aktivierung (softmax)? Was ist das sauberste und warum?

Danke allen!

Answer 1

Verwenden Sie Dense(activation=softmax) ist computational äquivalent zu zuerst Dense hinzufügen und dann Activation(softmax) hinzufügen. Es gibt jedoch einen Vorteil des zweiten Ansatzes - Sie könnten die Ausgänge der letzten Schicht (vor der Aktivierung) aus einem solchen definierten Modell herausholen. In der ersten Annäherung - es ist unmöglich.