15
Von Google Tutorial können wir ein Modell in TensorFlow trainieren. Aber was ist der beste Weg, um ein trainiertes Modell zu speichern, dann dienen die Vorhersage mit einer grundlegenden minimalen Python API im Produktionsserver.Wie wird die Vorhersage mithilfe von TensorFlow von API bereitgestellt und bereitgestellt?
Meine Frage ist im Grunde für TensorFlow Best Practices, um das Modell zu speichern und Vorhersage auf Live-Server zu dienen, ohne Geschwindigkeit und Speicherproblem zu kompromittieren. Da der API-Server für immer im Hintergrund läuft.
Ein kleiner Ausschnitt aus Python-Code wird geschätzt.
Danke dafür, Jarek. Weißt du, ob es Pläne für eine Python-Implementierung der Serverseite für TensortFlow Serving gibt? – eriophora
Nicht, dass ich weiß, da die Kernbibliothek in C++ und leistungsorientiert ist. Können Sie weitere Informationen zu Ihrem Anwendungsfall austauschen? –
Das macht Sinn. Ich möchte einen Server bereitstellen, der Anfragen von einer großen Anzahl von Benutzern aufnimmt, die die Form von Bildern annehmen und die Ergebnisse einer Inferenz zurückgeben (die Ausgabe eines Modells, dessen Eingabe das Anforderungsbild ist). Was mir unklar ist, ist, dass ein Großteil der Dokumentation (dh die Definition von "servables" in der Architekturübersicht) zu implizieren scheint, dass TensorFlow Serving tatsächlich die Modelle selbst zurückgibt, anstatt ihre Ausgabe ("Servables sind die zugrunde liegenden Objekte, die Clients verwenden computation ") ... Ich möchte, dass die Berechnung serverseitig, nicht clientseitig erfolgt. – eriophora