Determinismus in Tensorflow-Gradienten-Updates?

Question

Also habe ich ein sehr einfaches NN-Skript in Tensorflow geschrieben, und es fällt mir schwer, herauszufinden, woher etwas "Zufälligkeit" kommt.

ich die

• Gewichte aufgenommen haben,
• Gradients,
• Logits

meines Netzes, wie ich trainieren, und für die erste Iteration ist es klar, dass alles beginnt aus dem gleichen. Ich habe einen SEED-Wert sowohl für die Art, wie Daten eingelesen werden, als auch einen SEED-Wert für die Initialisierung der Gewichte des Netzes. Diese ändere ich nie.

Mein Problem ist, dass zu sagen, auf die zweite Iteration jeden re-run ich tue, beginne ich den Gradienten divergieren, um zu sehen, (um einen kleinen Betrag, wie etwa 1e-6 oder so). Im Laufe der Zeit führt dies jedoch zu nicht wiederholbarem Verhalten.

Was könnte die Ursache dafür sein? Ich weiß nicht, wo jede mögliche Quelle der Zufälligkeit könnte aus kommen ...

Dank

Answer 1

Es gibt eine gute Chance, dass Sie deterministische Ergebnisse erhalten können, wenn Sie Ihr Netzwerk auf CPU (export CUDA_VISIBLE_DEVICES=) laufen, mit Single-Thread in Eigener Thread-Pool (tf.Session(config=tf.ConfigProto(intra_op_parallelism_threads=1)), ein Python-Thread (keine Multithread-Warteschlangen-Runner, die Sie von Ops wie erhalten) und eine einzige wohldefinierte Operationsreihenfolge. Auch die Verwendung von inter_op_parallelism_threads=1 kann in einigen Szenarien hilfreich sein.

Ein Problem ist, dass die Gleitkomma-Addition/Multiplikation nicht-assoziativ ist, so dass ein narrensicherer Weg, um deterministische Ergebnisse zu erhalten, ganzzahlige arithmetische oder quantisierte Werte ist.

dass Barring, könnten Sie isolieren, welche Operation ist nicht deterministisch, und versuchen, dass op zu vermeiden, mit. Zum Beispiel gibt es tf.add_n op, was nichts über die Reihenfolge sagt, in der es die Werte summiert, aber unterschiedliche Ordnungen führen zu unterschiedlichen Ergebnissen.

deterministische Ergebnisse zu erhalten ist ein bisschen einen harten Kampf, weil Determinismus in Konflikt mit Leistung, und die Leistung ist in der Regel das Ziel, die mehr Aufmerksamkeit bekommt. Eine Alternative zu versuchen, genau die gleichen Zahlen auf Wiederholungen haben, ist auf numerische Stabilität konzentrieren - wenn Ihr Algorithmus stabil ist, dann werden Sie reproduzierbare Ergebnisse (dh gleiche Anzahl von Fehlklassifikationen) erhalten, obwohl genaue Parameterwerte etwas unterschiedlich sein