Konfigurieren von cross-Services für mehrere Cluster über cloudera manager

Question

Wir testen CDH 5.6 in unserem Unternehmen und erwarten, dass es in naher Zukunft in der Produktion eingesetzt wird, aber wir haben ein Problem mit keiner Antwort.

Momentan arbeiten wir mit zwei Clustern, die vom Cloudera Manager verwaltet werden: Central und Ingestion. Unser Ziel ist es, Dienste wie HDFS, Hive, Spark, Hue im zentralen Cluster und Flume, Sqoop, Kafka im Aufnahmescluster zu trennen.

Das Problem kommt, wenn wir versuchen, einen Cluster mit dem anderen zu verbinden, wir Sqoop2-2 oder Flume-2-Dienste (Ingestion Cluster) konfigurieren möchten, um direkt mit dem HDFS-Dienst (im zentralen Cluster) zu sprechen). Aber soweit wir wissen, können wir das in Cloudera Manager nicht tun, weil der einzige Dienst, der in der Konfiguration angezeigt wird, im zentralen Cluster liegt. Zum Beispiel, wenn wir versuchen, Hue Service (Zentral Cluster) mit Sqoop2-2 Service (Verschlucken) zu konfigurieren, können wir Sqoop2-2 Dienst in Hue Service-Konfiguration nicht wählen:

Hue service configuration for Central Cluster, only shows Sqoop2 service, not Sqoop2-2

Wir möchten diese verbinden diejenigen:

Sqoop2-2 service in Ingestion cluster

gibt es eine Möglichkeit Quer Dienstleistungen in mehreren Clustern über Cloudera-Manager oder wir müssen konfigurieren hdfs-site.xml manuell verbinden Sqoop2-2 Service (Verschlucken) mit HDFS-Service (Central ändern)

Vielen Dank im Voraus für Ihre Antworten.

Mit freundlichen Grüßen.

Answer 1

Ich glaube nicht, dass es einen Weg gibt, dies in Cloudera Manager zu tun. Sie könnten dies möglicherweise erreichen, indem Sie die meisten Daten aus /etc/hadoop/conf/hdfs-site.xml vom Speicher-Cluster zum Aufnahme-Cluster verwenden.

Was ist die Argumentation für diese Aufspaltung überhaupt? Normalerweise möchten Sie, dass Ihre Daemons so nah wie möglich am Speicher sitzen, um die beste Leistung zu erzielen.