Gibt es irgendwelche erweiterten Optimierungsmethoden in Keras, wenn nicht dann, wie kann ich sie verwenden?

Question

Ich weiß, was die Optimierer in Keras sind, ABER ich spreche über Methoden wie stochastischen durchschnittlichen Gradienten (SAG) oder Stochastic Variance-Reduced Gradient (SVRG)? hat jemand es vorher in seinen Projekten benutzt? Wie?

Answer 1

Ich habe gerade versucht RMSprop über SGD kürzlich auf ein Projekt. Für meine Anwendung trainiert RMSprop das Netzwerk viel schneller als SGD. Schale Optimizern in Keras wirklich einfach ist, beispielsweise von SGD Umstellung auf RMSprop

rmsprop = RMSprop(lr=0.0001) 

model.compile(loss='binary_crossentropy', 
       optimizer=rmsprop, 
       #optimizer = sgd, 
       metrics=['accuracy']) 

Wie von Sergii in dem Kommentar hingewiesen, gibt es eine Liste von Optimizern, aus denen Sie wählen können.