Wie starte ich Hadoop-Dienste auf dem DataProc-Cluster

Question

Ich suche mit falschen Begriffen, aber Google sagt mir nicht, wie man das macht. Die Frage ist, wie kann ich Hadoop-Dienste auf Dataproc nach dem Ändern einiger Konfigurationsdateien (Garneigenschaften, etc.) neu starten?

Dienste müssen für eine bestimmte Reihenfolge im Cluster neu gestartet werden. Es müssen Skripte oder Tools vorhanden sein, hoffentlich in der Dataproc-Installation, die ich aufrufen kann, um den Cluster neu zu starten.

Answer 1

Das Konfigurieren von Eigenschaften ist ein gebräuchlicher und gut unterstützter Anwendungsfall.

Sie können dies über cluster properties, kein Daemon Neustart erforderlich. Beispiel:

dataproc clusters create my-cluster --properties yarn:yarn.resourcemanager.client.thread-count=100

Wenn Sie etwas weiter fortgeschritten tun, wie Service Log-Level zu aktualisieren, können Sie systemctl verwenden, um Dienste neu zu starten.

Zuerst ssh zu einem Clusterknoten und geben Sie systemctl ein, um die Liste der verfügbaren Dienste anzuzeigen. Um beispielsweise HDFS NameNode neu zu starten sudo systemctl restart hadoop-hdfs-namenode.service

Wenn dies Teil der Initialisierungsaktion ist, wird sudo nicht benötigt.