Ich arbeite mit Faltung Autoencoder. Meine Autoenoder-Konfiguration hat eine Faltungsschicht mit Schritt (2,2) oder Mittelwertbildung und Reluktivierung und eine Dekonvolutionsebene mit Schritt (2,2) oder Mittelwertbildung und Neuaktivierung.Convolutional Autoencoders: Black Feature Maps
Ich trainierte den Autoencoder mit dem MNIST-Datensatz.
Wenn ich die Feature-Maps nach der ersten Faltungsschicht anschaue (20 Filter mit Filtergröße 3), habe ich einige schwarze Feature-Maps, stattdessen sind die gelernten Filter nicht schwarz. Das Gleiche passiert, wenn ich die Anzahl der Filter oder die Filtergröße ändere.
Ich bekomme dieses Phänomen mit TensorFlow und Theano Autoencoder. (Ich habe noch keine andere neuronale Netzwerksoftware getestet.)
Weiß jemand, warum das passiert?
Ich kann die schwarzen Feature-Maps vermeiden, wenn ich eine LRN-Ebene hinzufüge, aber ich möchte verstehen, warum die schwarzen Feature-Maps erscheinen.
Was meinst du mit "schwarz" - Nullen überall? Warum denken Sie, dass dies ein Problem ist? – kaufmanu
Vielen Dank für Ihre Antwort. Ja, "schwarz" bedeutet null für mich. Mein Ziel ist es zu verstehen, warum der Ausgang Null wird, anstatt die Filter sind nicht Null. Kannst du dieses Phänomen erklären? In einem zweiten Schritt nehme ich die Ausgabe nach der ersten Faltungsschicht und verwende sie als Eingabe für ein vollständig verbundenes neuronales Netzwerk. Ich denke, die Null-Ausgänge korrumpieren die Daten, die in einer schlechteren Klassifikation enden als mit dem ursprünglichen MNIST-Datensatz. – user7473657
Hast du die Ausgabe der Reluktivierung verflacht ??? und gib es einer voll verbundenen Schicht ?? Dein Netzwerk sollte versteckte Einheiten haben – Jai