Überprüfen, ob Hadoop-Cluster vorhanden ist

Question

Ich erstelle eine Python-CGI-basierte Website, die es mir ermöglicht, einen Hadoop-Cluster einzurichten. Ich fragte mich, ob es einen Weg gab zu überprüfen, ob bereits ein vorgefertigter Cluster vorhanden ist? Weil ich die Website darauf beschränken möchte, immer nur einen Cluster zu erstellen. Ich möchte wissen, ob ein offline Cluster existiert.

Die einzige Idee, die ich bisher habe, ist es, eine Flagge in eine Datei zu speichern, wenn der Cluster erstellt wird und den Wert zu ändern, wenn der Cluster gelöscht wird.

Answer 1

Aditya - Stellen Sie sicher, dass Ihre Hadoop-Ports in der Maschine zuhören. In Standard-hdfs unter dem Port 9000 ausgeführt, können Sie auch einen Standard-Ports für Hadoop beheben und es nach Ihren Anforderungen ausfiltern.

Machen Sie eine eindeutige Identifikation über das HDFS-Metadatenverzeichnis. oder listet die hadoop-conf-Datei (core-site, hdfs-site ....) in jedem Verzeichnis auf. Dies sind die obligatorischen Dinge für Hadoop.

Sie können es in Umgebungsvariablen/Klassenpfad abrufen, oder verwenden Sie diesen Befehl hadoop version. Es funktioniert, wenn die Pfadvariablen (% HADOOP_HOME%) richtig konfiguriert sind. Es sind keine Hadoop-Dienste erforderlich, die sich im Ausführungsstatus befinden, sondern die richtige Umgebungsvariable wird auf diesem Computer konfiguriert.