Tensorflow Serving - Stateful LSTM

Question

Gibt es eine kanonische Methode, um einen Stateful LSTM usw. mit Tensorflow Serving zu erhalten?

Mit der Tensorflow-API direkt ist dies unkompliziert - aber ich bin mir nicht sicher, wie der persistente LSTM-Zustand zwischen den Aufrufen nach dem Export des Modells in Serving am besten erreicht werden kann.

Gibt es irgendwelche Beispiele, die das oben genannte erreichen? Die Beispiele innerhalb des Repos sind sehr einfach.

Answer 1

Von Martin Wicke auf der TF-Mailingliste:..

„Es für Stateful-Modelle im Modell Server noch keine gute Integration ist Wie Sie bemerkt, es Modelle sind reine Funktionen grundsätzlich davon ausgegangen, wir sind auf diese Arbeit, und Sie sollten sehen, diese Funktionalität erscheint schließlich, aber es ist zu weit, um eine Zeit zu versprechen.So in der Zwischenzeit können Sie einen einfachen Wrapper schreiben, der Zustand auf dem Server hält (und eine Art Sitzungs-ID, die in Anfragen weitergegeben wird), oder Sie können einen eigenen Server schreiben, der den TensorFlow-Sitzungszustand beibehält (und in ähnlicher Weise eine Sitzungs-ID zurückgibt). Letzteres ist leistungsfähiger. Beide erfordern eine Art Garbage Collection/Session-Timeout-Logik. "