5
Ich habe eine GPU für die Bereitstellung zur Verfügung, aber mehrere Modelle müssen bereitgestellt werden. Ich möchte nicht den gesamten GPU-Speicher dem ersten implementierten Modell zuweisen, da ich dann meine nachfolgenden Modelle nicht bereitstellen kann. Während des Trainings könnte dies unter Verwendung des Parameters gpu_memory_fraction gesteuert werden. Ich bin mit dem folgenden Befehl mein Modell zu implementieren -Tensorflow Serving: Mit einem Bruchteil der GPU-Speicher für jedes Modell
tensorflow_model_server --port=9000 --model_name=<name of model> --model_base_path=<path where exported models are stored &> <log file path>
Gibt es ein Flag, das ich gesetzt können die gpu Speicherzuweisung zu steuern?
Dank
Does abbinden gelassen Serving [Dies] (https://stackoverflow.com/questions/34199233/how-to-prevent-tensorflow-from-allocating- die-totalität-von-a-gpu-speicher? rq = 1) hilfe? – Imran
@Imran Nein, meine Abfrage bezieht sich auf die Speicherzuordnung innerhalb der Tensorflow-Portierung. – dragster
Sie können einen offenen Fehler hier https://github.com/tensorflow/serving/issues/249 finden. Tldr; Es scheint keine Option zu geben und Sie müssen die Option manuell ändern und die Binärdatei neu kompilieren, wie in dem Post, den ich verlinkt habe, erklärt wurde. – rajat