0

erstelle ich mit Python unter Ubuntu bin mit tensorflowubuntu einen tensorflow Arbeiter Knoten

ich here darüber lesen, wie mit einem tensorflow Cluster zu arbeiten, möchte ich noch ein paar Maschinen einrichten tf und erstellen Sie einen Arbeits Cluster laufen, und kann keine einfachen Beispiele finden, wie man Maschinen als Arbeiterknoten einrichtet.

sollte ich es auf Stand-Alone-Maschinen einrichten und dann alle an einen Cluster binden? sollte ich einen Cluster einrichten (wenn ja, dann beziehen Sie sich auf ein Beispiel) und installieren Sie dann TF auf dem Cluster als Cluster?

EDIT: Die Antworten sind gut und berechtigt, ich suche die Art und Weise, dass tf Clusterkonzept interagieren mit der Beowulf-Cluster Zustimmung zu verstehen, und wenn ich brauche den Beowulf-Cluster in irgendeiner Weise hier

Dank

Antwort

1

Ich glaube, Sie haben den Inhalt unten auf der Seite verpasst wie Tensorflow als Parameter Server oder Arbeiter, hier sind zwei Parameter-Server und zwei Arbeiter. Die job_name sagt, ob es sich um ein Parameter-Server oder Arbeiter ist und die task_index erzählt den Index der Maschine in dieser Gruppe:

# On ps0.example.com: 
$ python trainer.py \ 
    --ps_hosts=ps0.example.com:2222,ps1.example.com:2222 \ 
    --worker_hosts=worker0.example.com:2222,worker1.example.com:2222 \ 
    --job_name=ps --task_index=0 
# On ps1.example.com: 
$ python trainer.py \ 
    --ps_hosts=ps0.example.com:2222,ps1.example.com:2222 \ 
    --worker_hosts=worker0.example.com:2222,worker1.example.com:2222 \ 
    --job_name=ps --task_index=1 
# On worker0.example.com: 
$ python trainer.py \ 
    --ps_hosts=ps0.example.com:2222,ps1.example.com:2222 \ 
    --worker_hosts=worker0.example.com:2222,worker1.example.com:2222 \ 
    --job_name=worker --task_index=0 
# On worker1.example.com: 
$ python trainer.py \ 
    --ps_hosts=ps0.example.com:2222,ps1.example.com:2222 \ 
    --worker_hosts=worker0.example.com:2222,worker1.example.com:2222 \ 
    --job_name=worker --task_index=1 
+0

sodass dieser Code die ganze Arbeit tut, einschließlich der Arbeiter Knoten als Arbeiter Knoten Einrichten und Aktivieren der lokale Host mit dem richtigen Port geöffnet? Muss ich nicht die Verbindung zwischen den verschiedenen Maschinen herstellen? Passwörter, Ports usw.? Rechnet es mit einem bereits eingerichteten Cluster? Meine Maschinen sind zwei Maschinen in einem Netzwerk mit keiner anderen Verbindung zwischen den beiden. – thebeancounter

+0

Ja, es richtet den Port und das Netzwerk ein. Ich denke, dass Sie die Maschinen aktivieren müssen, damit sich jede Maschine zu einer anderen Maschine anmelden kann, ohne ein Kennwort zu benötigen. Ich tue dies, indem ich meinen öffentlichen ssh-Schlüssel auf alle Maschinen von allen Maschinen kopiere, so dass die Anmeldung von einem Rechner zu einem anderen Rechner mit ssh kein Passwort erfordert. – dipendra009

+0

Also muss ich nicht einen Beuwolf-Cluster für TF einrichten, um parallel zu eun? Wofür ist der Beuwolf-Cluster hier nützlich? – thebeancounter

Verwandte Themen