Weiter Training nach Tastatur-Interrupt?

Question

ich trainierte tensorflow und dann püriert ich die Tastatur für scheißt und kichert:

INFO:tensorflow:global step 101: loss = 5.1761 (52.61 sec/step) 
INFO:tensorflow:global step 102: loss = 4.8679 (18.78 sec/step) 
INFO:tensorflow:global step 103: loss = 4.9662 (19.02 sec/step) 
INFO:tensorflow:global step 104: loss = 5.1126 (17.36 sec/step) 
^C^X^C^[^[^[^[^[ 





exit 
Traceback (most recent call last): 
    File "/Users/kristoffer/web/im2txt/im2txt/bazel-bin/im2txt/train.runfiles/im2txt/im2txt/train.py", line 114, in <module> 
    tf.app.run() 
    File "/Library/Python/2.7/site-packages/tensorflow/python/platform/app.py", line 43, in run 
    sys.exit(main(sys.argv[:1] + flags_passthrough)) 
    File "/Users/kristoffer/web/im2txt/im2txt/bazel-bin/im2txt/train.runfiles/im2txt/im2txt/train.py", line 110, in main 
    saver=saver) 
    File "/Library/Python/2.7/site-packages/tensorflow/contrib/slim/python/slim/learning.py", line 782, in train 
    sess, train_op, global_step, train_step_kwargs) 
    File "/Library/Python/2.7/site-packages/tensorflow/contrib/slim/python/slim/learning.py", line 530, in train_step 
    run_metadata=run_metadata) 
    File "/Library/Python/2.7/site-packages/tensorflow/python/client/session.py", line 766, in run 
    run_metadata_ptr) 
    File "/Library/Python/2.7/site-packages/tensorflow/python/client/session.py", line 964, in _run 
    feed_dict_string, options, run_metadata) 
    File "/Library/Python/2.7/site-packages/tensorflow/python/client/session.py", line 1014, in _do_run 
    target_list, options, run_metadata) 
    File "/Library/Python/2.7/site-packages/tensorflow/python/client/session.py", line 1021, in _do_call 
    return fn(*args) 
    File "/Library/Python/2.7/site-packages/tensorflow/python/client/session.py", line 1003, in _run_fn 
    status, run_metadata) 
KeyboardInterrupt 
Kristoffers-MacBook-Pro:im2txt kristoffer$ logout 
Saving session... 
...copying shared history... 
...saving history...truncating history files... 
...completed. 

[Process completed] 

Wenn ich versuche, wieder mit dem Training zu beginnen, ich die folgende Fehlermeldung erhalten:

$ bazel-bin/im2txt/train --input_file_pattern="${MSCOCO_DIR}/train-?????-of-00256" --inception_checkpoint_file="${INCEPTION_CHECKPOINT}" --train_dir="${MODEL_DIR}/train" --train_inception=false --number_of_steps=150 
CRITICAL:tensorflow:Found no input files matching /train-?????-of-00256 
Traceback (most recent call last): 
    File "/Users/kristoffer/web/im2txt/im2txt/bazel-bin/im2txt/train.runfiles/im2txt/im2txt/train.py", line 114, in <module> 
    tf.app.run() 
    File "/Library/Python/2.7/site-packages/tensorflow/python/platform/app.py", line 43, in run 
    sys.exit(main(sys.argv[:1] + flags_passthrough)) 
    File "/Users/kristoffer/web/im2txt/im2txt/bazel-bin/im2txt/train.runfiles/im2txt/im2txt/train.py", line 65, in main 
    model.build() 
    File "/Users/kristoffer/web/im2txt/im2txt/bazel-bin/im2txt/train.runfiles/im2txt/im2txt/show_and_tell_model.py", line 353, in build 
    self.build_inputs() 
    File "/Users/kristoffer/web/im2txt/im2txt/bazel-bin/im2txt/train.runfiles/im2txt/im2txt/show_and_tell_model.py", line 153, in build_inputs 
    num_reader_threads=self.config.num_input_reader_threads) 
    File "/Users/kristoffer/web/im2txt/im2txt/bazel-bin/im2txt/train.runfiles/im2txt/im2txt/ops/inputs.py", line 98, in prefetch_input_data 
    data_files, shuffle=True, capacity=16, name=shard_queue_name) 
    File "/Library/Python/2.7/site-packages/tensorflow/python/training/input.py", line 211, in string_input_producer 
    raise ValueError(not_null_err) 
ValueError: string_input_producer requires a non-null input tensor 

Was verursacht diese und was kann ich dagegen tun? Gibt es eine geeignete Möglichkeit, eine Trainingseinheit anzuhalten/abzubrechen? (Tensorflow scheint dort aufzugreifen, wo es geblieben ist, wenn Sie mit 50 Schritten beginnen und dann die Schritte auf 100 setzen)

Answer 1

Es scheint, als ob Ihr Problem dadurch verursacht wird, dass Tensorflow versucht, eine Sitzung zu laden, was nicht war richtig gespeichert, wenn Sie Ihren Code unterbrochen haben. Ihre Lösungen würden jetzt entweder die letzte Sitzung nicht laden, wenn Sie den Code neu starten (indem Sie die Ladezeile kommentieren), oder die gespeicherten Sitzungsdateien löschen (dann sollte sie automatisch von vorne beginnen). Es ist schwer, ein konkreteres Beispiel zu geben, da Sie Ihren Code nicht geteilt haben ...