Tensorflow - Verlust nicht abnehmend

Question

In letzter Zeit habe ich versucht, die Ergebnisse von this post zu replizieren, aber mit TensorFlow anstelle von Keras. Mein Modellverlust konvergiert jedoch nicht als in the code provided. Ich habe darauf geachtet, die gleichen vom Autor verwendeten Parameter zu verwenden, auch die nicht explizit gezeigten. Mein vollständiger Code kann here gesehen werden.

Ich habe bereits verschiedene Lernraten, Optimierer und Losgrößen ausprobiert, aber diese haben das Ergebnis nicht sehr beeinflusst.

Ich habe hier in StackOverflow und StackExchange eine Reihe anderer Fragen zu diesem Problem gefunden, aber die meisten hatten überhaupt keine Antwort. Die Fragen mit Antworten haben jedoch nicht geholfen.

Ich bin mit TensorFlow 1.1.0, Python 3.6 und Windows 10.

Das Seltsame ist, dass wir die gleiche Datenbank und das gleiche Modell, sondern nur unterschiedliche Rahmenbedingungen. Es sollte also kein völlig anderes Verhalten geben. Hat jemand Vorschläge, was ich versuchen sollte, dieses Problem zu lösen, bitte?

Answer 1

Ich lief Ihren Code im Grunde unverändert, aber ich habe die Form Ihrer tf_labels und logits betrachtet und sie sind nicht das Gleiche. logits hatten die Form (batch_size, 1,1,1) (weil Sie einen 1x1 Faltungsfilter verwendet haben) und tf_labels hatten eine Form (batch_size, 1). Ich änderte Ihre Verlustlinie zu

und der Verlust sank jede Epoche.