Gibt es eine allgemeine Regel beim Zuweisen der Rolle zum Gateway in Cloudera Spark2?

Question

Ich plane die Aktualisierung der vorhandenen Spark 1.6 zu 2.1 in Cloudera, wurde mir geraten, dass ich Gateway-Rolle zu allen Knoten-Manager und Ressourcen-Manager-Knoten zuweisen sollte. Die aktuelle Gateway-Rolle wird einem Proxy-Knoten zugewiesen, der nicht im geplanten Spark2 enthalten ist. Der Grund dafür ist, dass der Proxy-Knoten zu viele (20+) Rollen hat. Ich frage mich, ob hier irgendjemand einen Vorschlag geben kann. Ich überprüfte Cloudera doc, ich sehe keine Richtlinie (oder vielleicht habe ich es verpasst?)

Vielen Dank.

Answer 1

Ich habe eine leichte Unstimmigkeit mit der anderen Antwort, die

standardmäßig sagt jeder Host einen Dienst ausgeführt wird, die Konfigurationsdateien so brauchen Sie enthalten haben kein Gateway Rolle hinzufügen Ihr Node Manager und Resource Manager Rollen

nur Node Manager und Resource Manager, das auf einem Knoten ausgeführt wird nur geben Sie die Konfigurationsdateien für GARN, nicht Spark2. Allerdings müssen Sie nur die Spark-Gateway-Rolle für Ihren Edge-Knoten bereitstellen, wo Sie dem Endbenutzer die Anmeldung und die Ausführung des Befehlszeilentools wie "beeline", "hdfs" und "spark-shell/spark-submit" ermöglichen. Niemand sollte sich als Sicherheitsrichtlinie in Ihren Node Manager/Datanode einloggen dürfen.

In Ihrem Fall sieht es so aus, wie Sie Proxy-Knoten nennen. Das Gateway ist nur Konfigurationsdateien und ist kein laufender Prozess. Ich glaube also nicht, dass Sie sich über zu viele bestehende Rollen Gedanken machen müssen.

Answer 2

Eine Gateway-Rolle hat nur die Konfigurationsdateien wie/etc/hadoop/conf/*. Es erlaubt Clients, auf diesem Host zu laufen (die hdfs, hadoop, gamel, spark CLIs) und Befehle an den Cluster zu senden. Standardmäßig enthält jeder Host, auf dem ein Dienst ausgeführt wird, die Konfigurationsdateien, sodass Sie Ihren Node-Manager- und Ressourcen-Manager-Rollen keine Gateway-Rolle hinzufügen müssen.

Die offizielle Dokumentation beschreibt mich als solche: Managing Roles: Gateway Roles

Ein Gateway ist eine besondere Art von Rolle, deren einzigen Zweck ist es, einen Host zu bezeichnen, die eine Client-Konfiguration für einen bestimmten Dienst erhalten sollen, wenn der Host Es laufen keine Rollen darauf. Mit Gateway-Rollen kann Cloudera Manager Clientkonfigurationen auf diesem Host installieren und verwalten. Mit einer Gateway-Rolle ist kein Prozess verknüpft und der Status wird immer auf "Gestoppt" gesetzt. Sie können Gateway-Rollen für HBase, HDFS, Hive, Kafka, MapReduce, Solr, Spark, Sqoop 1 Client und YARN konfigurieren.