Wie führe ich ein Shell-Skript auf allen Knoten eines EMR-Clusters aus?

Question

Gibt es eine geeignete Möglichkeit, ein Shell-Skript auf jedem Knoten in einem laufenden EMR-Hadoop-Cluster auszuführen?

Alles, nach dem ich suche, ruft Bootstrap-Aktionen auf, aber das gilt nur für den Start des Clusters, nicht für einen laufenden Cluster.

Meine Anwendung verwendet Python, so meine derzeitige Vermutung ist es, Boto zu verwenden, um die IPs jedes Knotens im Cluster aufzulisten, dann durch jeden Knoten zu durchlaufen und das Shell-Skript über SSH auszuführen.

Gibt es einen besseren Weg?

Answer 1

Wenn Ihr Cluster bereits gestartet ist, sollten Sie Schritte verwenden.

Die Schritte werden ausgeführt nach der Cluster gestartet wird, so scheint es technisch zu sein, was Sie suchen.

Seien Sie vorsichtig, Schritte werden nur auf dem Master-Knoten ausgeführt, Sie sollten sich mit den anderen Knoten verbinden, um sie zu modifizieren.

Schritte sind auch Skripte, aber sie laufen nur auf Maschinen in der Meister-Instanz Gruppe des Clusters. Dieser Mechanismus ermöglicht Anwendungen wie Zookeeper die Master-Instanzen zu konfigurieren und ermöglicht Anwendungen wie Hbase und Apache Drill, um selbst konfigurieren .

Reference

Siehe this auch.