Welche Art von Daten im vortrainierten Modell, wie Caffe Modell Zoo gespeichert?

Question

Ich kam diese Frage aus dem Lesen squeeze net Papier. Die Autoren geben an, dass sie Deep Compression verwenden, um das vortrainierte Modell zu komprimieren. Der Algorithmus enthält Huffman-Code usw.

Ich schließe die vortrainierten sind alle Parameter, und ich weiß, dass diese Parameter beim Training des Netzwerks generiert werden, aber ich habe keine Ahnung, wie die Parameter generiert werden. Welche Rolle spielen Parameter des vortrainierten Modells bei der Vorhersage?

Es klingt für mich wie schwarze Magie

Answer 1

Das vortrainiert Modell für alle der Schichtverbindungen zu/von jedem Kern jeder Schicht der Gewichte besteht. Das ist das "Heavy Lifting" aus den ersten 40-80 Epochen des Trainings. Es sollte bereit sein, Vorhersagen zu treffen oder mit der Feinabstimmung fortzufahren, die Sie anwenden möchten.

Es ist nicht wirklich schwarze Magie. Jedes Framework hat die Möglichkeit, die Parameterwerte in bestimmten Intervallen und nach Abschluss des Trainings zu sichern (zu sichern). Zugegeben, das sind relativ große Dateien - daher die Komprimierung. Jedes Framework hat die Möglichkeit, eine solche Speicherauszugsdatei einzulesen, um ein Modell zu laden.