Wie zu verbessern Rechenzeit in Tensorflow

Question

Ich verwende Tensorflow in Android. Ich habe die apk für TFClassify zur Verfügung gestellt. Ich lief die Anwendung und es läuft schnell mit Inferenzzeit von nicht mehr als 400ms. Wenn ich jedoch das verfügbare trainierte Modell durch mein Modell ersetze, dauert es ungefähr 2000 ms für die Berechnung, bevor das Ergebnis angezeigt wird. Warum gibt es so einen Unterschied und wie kann ich meine umtrainierte_graph.pb optimieren?

Answer 1

Dies ist die am besten geeignete Lösung, die ich über bekam:

Codelabs Tensorflow for poets 2

Einige helfen auch durch diese Gruppendiskussion Seite getroffen werden können. die Folgerung Zeit von wenigen ms

Reduce the TensorFlow Model (using tf.contrib.learn API) computation time

Answer 2

Haben Sie das umgeschulte Modell in einen optimierten & quantisierten Graphen umgewandelt?

Wenn nicht versuchen:

tensorflow/bazel-bin/tensorflow/python/tools/optimize_for_inference \ 
     --input=retrained_graph.pb \ 
     --output=optimized_graph.pb \ 
     --input_names=Mul \ 
     --output_names=final_result 

tensorflow/bazel-bin/tensorflow/tools/quantization/quantize_graph \ 
     --input=optimized_graph.pb \ 
     --output=rounded_graph.pb \ 
     --output_node_names=final_result \ 
     --mode=weights_rounded 

FYI, müssen Sie zunächst diese Werkzeuge bauen.