Tensorflow Serving Batching-Parameter

Question

Wie funktioniert die Leistungsoptimierung der Batchverarbeitung mit max_batch_size, batch_timeout_micros, num_batch_threads und anderen Parametern? Versucht, diese Parameter mit dem Query-Client zu verwenden, funktioniert es nicht.

Im folgenden Beispiel habe ich 100 Bilder und ich möchte in der Größe von 10 Stapel. Die Abfrage läuft für alle Bilder anstelle von 10. bazel-bin/tensorflow_serving/Beispiel/demo_batch --server = localhost: 9000 - -max_batch_size = 10

Auch für die Batch-Planung, wie es alle 10 Sekunden nach dem ersten Batch ausgeführt werden? Vielen Dank.

Answer 1

Ich habe das gleiche Problem wie Sie getroffen.

Und ich überprüft den Quellcode von tf-serving, diese Parameter sind in einer protobuf Datei, die

serving/tensorflow_serving/servables/tensorflow/session_bundle_config.proto 

in

definiert Und ich fand das Beispiel conf Datei in

Servieren/tensorflow_serving/servables/tensorflow/testdata/batching_config.txt

Und ich glaube, dass Sie das Batching_config.txt Format folgen können, sollte die Parameter Config funktionieren.

Ich hoffe, es hilft.

---

max_batch_size {Wert: 1024}

batch_timeout_micros {Wert: 0}

max_enqueued_batches {value: 1000000}

num_batch_threads {Wert: 8}

allowed_batch_sizes: 1

allowed_batch_si ZES: 2

allowed_batch_sizes: 8

allowed_batch_sizes: 32

allowed_batch_sizes: 128

allowed_batch_sizes: 256

allowed_batch_sizes: 512

allowed_batch_sizes: 1024