Verwenden Sie Tensor Flow trainierte Modelle als Service

Question

Ich habe gerade mit Tensor Flow begonnen. Ich konnte es erfolgreich für einen von mir erstellten Datensatz trainieren. Jetzt ist die Frage, wie ich dieses Modell nutzen kann, um Vorhersagen zu treffen. Ich möchte es zu einem REST-Dienst machen, zu dem ich einige Werte weitergeben und die Vorhersagen als Antwort erhalten kann. Nützliche Links sind ebenfalls willkommen. Das Modell befindet sich derzeit auf einer VM.

Thanks :)

Answer 1

Zu allererst: versuchen zu sparen und Ihr Modell laden: https://www.tensorflow.org/versions/r0.11/how_tos/variables/index.html

Dann nach dem Training, können Sie einfach anrufen:

rest_prediction = sess.run(prediction_tensor, feed_dict={x_tensor: user_input})

Ein wichtiger Unterschied ist, während des Trainings haben Sie Batch_Size-Eingaben, aber wenn Sie einen REST-Server haben, haben Sie 1 Eingabe. Die Form (https://www.tensorflow.org/versions/r0.11/resources/dims_types.html) Ihrer Tensoren sollte variabel sein. Wie Sie dies erreichen können, finden Sie hier: https://www.tensorflow.org/versions/r0.11/resources/faq.html#tensor-shapes

Wenn Sie ein kurzes und einfaches Code-Snippet veröffentlichen, können wir Ihnen vielleicht besser helfen.

Answer 2

Haben Sie Cloud ML auf GCP gesehen? Es könnte genau das sein, wonach Sie suchen.
https://cloud.google.com/ml/

Sie vielleicht ein paar kleine Änderungen an der Architektur des Modells vornehmen müssen - wie variable Losgrößen und das Hinzufügen von Ein-/Ausgänge zu den Sammlungen - aber sie sind in der documentation.

Wenn die Leistung, Skalierbarkeit erklärt und eine kurze Ausfallzeit, wenn Sie sich entscheiden, das Modell zu aktualisieren, sind kein Problem, Sie könnten auch in Erwägung ziehen, einfach einen einfachen Kolbenserver mit Tensorflow installiert zu haben.

Wenn Sie Cloud ML nicht verwenden möchten und eine große Anzahl von Anfragen bearbeiten müssen, dann schauen Sie in die tensorflow serving.