2017-09-06 1 views
0

Ich trainiere ein Modell mit tf.contrib.learn.Estimator. Da sich mein Standort model_dir im Google Cloud-Speicher befindet, dauert das Hochladen des Modells eine Weile. Das Problem besteht darin, dass Zwischenergebnisse in einer events.out.tfevents Datei gespeichert werden. Ist es möglich, diese Datei nur am Ende der Anpassung zu schreiben oder zu vermeiden, in diese Datei zu schreiben? Gegenwärtig wird die ganze Zeit damit verbracht, diese Datei hochzuladen, anstatt das Modell tatsächlich anzupassen. Wenn dies nur am Anfang und am Ende der Anpassung wäre, wäre dies kein Problem.tf.contrib.learn Estimator vermeiden schreiben events.out.tfevents. * Datei

estimator_full_model = tf.contrib.learn.Estimator(
     model_fn=network_train.build_model_fn(), 
     params={'train_op': 'full_model', 
       'learning_rate': 0.01, 
       'mask_train': None}, 
     model_dir='data', 
     feature_engineering_fn=train_feature_engineering_fn, 
     config=tf.contrib.learn.RunConfig(save_checkpoints_secs=None, 
              save_checkpoints_steps=100000, 
              log_device_placement=False)) 

Antwort

0

gibt es nicht Schnittstelle Ereignisse am Ende des Trainings-Datei zu schreiben, soweit ich weiß, aber man kann durch Erhöhung save_summary_steps in config=tf.contrib.learn.RunConfig in eine akzeptable Frequenz die Frequenz der Schreibvorgänge Datei reduzieren.

+0

Danke für die Antwort, ich habe save_summary_steps = 2000 in der RunConfig hinzugefügt. Aber die Ereignisdatei wird immer noch öfter als alle 2000 Schritte geschrieben. INFO: tensorflow: Verlust = 0,545086, Stufe = 201 (25,491 sec) INFO: tensorflow: Verlust = 0,549882, Schritt = 301 (97,587 sec) INFO: tensorflow: Verlust = 0,52498, Schritt = 401 (25,509 sec) INFO: tensorflow: Verlust = 0.416154, Schritt = 501 (102.545 sec) Es kann in der längeren Ausführungszeit gesehen werden, dass die Datei alle 200 Schritte geschrieben wird, was komisch ist, da der Standard 'save_summary_steps' 100 ist. –

+0

Can Ich sehe mehr Details deines Codes? Gibt es einen anderen Ort, an dem tf.summary.FileWriter wirksam wird? –

+0

Haben Sie Hooks hinzugefügt, wenn 'estimator_full_model.train()' oder 'estimator_full_model .evaluate()'? –

Verwandte Themen