TensorBoard - Plot Training und Validierung Verluste auf der gleichen Grafik?

Question

Gibt es eine Möglichkeit, sowohl die Trainingsverluste als auch die Validierungsverluste auf der gleichen Grafik grafisch darzustellen?

Es ist einfach, zwei separate Skalarzusammenfassungen für jede von ihnen einzeln zu haben, aber dies bringt sie in separate Graphen. Wenn beide in der gleichen Grafik angezeigt werden, ist es viel einfacher, die Lücke zwischen ihnen zu sehen, und ob sie aufgrund von Überanpassungen zu divergieren beginnen oder nicht.

Gibt es eine eingebaute Möglichkeit, dies zu tun? Wenn nicht, ein Arbeitsweg? Vielen Dank!

Answer 1

Die Umgehung, die ich gemacht habe, ist, zwei SummaryWriter mit verschiedenen Protokollverzeichnissen für Trainingssatz und Kreuzvalidierung zu verwenden. Und Sie werden etwas sehen:

Answer 2

Anstatt die beiden Linien separat angezeigt wird, können Sie stattdessen zeichnen den Unterschied zwischen der Validierung und Training Verluste als seine eigene Skalar Zusammenfassung der Divergenz zu verfolgen.

Dies gibt nicht so viele Informationen zu einem einzelnen Diagramm (verglichen mit dem Hinzufügen von zwei Zusammenfassungen), aber es hilft, mehrere Durchläufe vergleichen zu können (und nicht mehrere Zusammenfassungen pro Durchlauf hinzuzufügen).

Answer 3

Tensorboard ist wirklich nettes Werkzeug, aber durch seine deklarative Natur kann es schwierig machen, es genau das zu tun, was Sie wollen.

Ich empfehle Ihnen den Kauf Losswise (https://losswise.com) zum Plotten und verfolgen von Verlustfunktionen als Alternative zu Tensorboard. Mit Losswise geben Sie genau das, was zusammen grafisch dargestellt werden sollen:

import losswise 

losswise.set_api_key("project api key") 
session = losswise.Session(tag='my_special_lstm', max_iter=10) 
loss_graph = session.graph('loss', kind='min') 

# train an iteration of your model... 
loss_graph.append(x, {'train_loss': train_loss, 'validation_loss': validation_loss}) 
# keep training model... 

session.done() 

Und Sie dann etwas, das wie folgt aussieht:

Beachten Sie, wie die Daten zu einem bestimmten Graphen zugeführt wird explizit über den loss_graph.append aufrufen, deren Daten dann im Dashboard Ihres Projekts angezeigt werden.

Darüber hinaus würde Losswise für das obige Beispiel automatisch eine Tabelle mit Spalten für min(training_loss) und min(validation_loss) erstellen, sodass Sie die zusammengefassten Statistiken in Ihren Experimenten problemlos vergleichen können. Sehr nützlich für den Vergleich von Ergebnissen über eine große Anzahl von Experimenten.