Wie erstelle ich Ensemble im Tensorflow?

Question

Ich versuche ein Ensemble von vielen trainierten Modellen zu erstellen. Alle Modelle haben die gleiche Grafik und unterscheiden sich nur durch ihre Gewichte. Ich erstelle das Modelldiagramm mit tf.get_variable. Ich habe mehrere verschiedene Checkpoints (mit unterschiedlichen Gewichtungen) für die gleiche Graphenarchitektur und möchte für jeden Checkpoint ein Instanzmodell erstellen.

Wie kann ich viele Checkpoints laden, ohne die zuvor geladenen Gewichte zu überschreiben?

Da ich meine Grafiken mit tf.get_variable erstellt habe, ist die einzige Möglichkeit, mehrere Diagramme zu erstellen, indem Sie das Argument reuse = True übergeben. Wenn ich jetzt versuche, die Namen meiner Graphvariablen zu ändern, die die Erstellungsmethode in einen neuen Bereich einschließen (damit sie mit anderen erstellten Graphen nicht gemeinsam genutzt werden können), wird das nicht funktionieren, da sich die neuen Namen von den gespeicherten unterscheiden Gewichte und ich kann es nicht laden.

Answer 1

Ich beantwortete dies auch auf Reddit, aber nur für den Fall, dass andere Leute dieses Problem auftreten, ich Reposting es hier und fügte weitere Klarstellungen.

Wenn Sie Scikit Flow verwenden, können Sie die Modelle einfach speichern und wiederherstellen, verschiedene Vorhersagen aus verschiedenen Modellen erstellen und aus diesen Vorhersagen ein Ensemble erstellen. Sehen Sie sich an, wie Sie diese auf unserer Beispielseite speichern und wiederherstellen können.

Es gibt auch predict_proba(), die Sie verwenden können, intead predict(), um die vorhergesagten Wahrscheinlichkeiten zu erhalten. Es sollte einfach sein, einfache Mittelungen, Stapelungen usw. verschiedener Arten von Ensembles zu erstellen.

Hoffe, das hilft.