Wie können mehrere Flume-Agenten auf einem einzelnen Knoten mit Cloudera Manager ausgeführt werden?

Question

Ich habe Flume auf meinem CDH5.8.0 Cluster installiert. Der Kanalagent befindet sich auf einem einzelnen Knoten, auf dem Flume-Tasks ausgeführt werden. Ich verwende das Linux-Terminal, um zwei getrennte Dateneingänge über den Kanal mit separaten Konfigurationsdateien auszuführen.

Ich möchte beide Aufnahmevorgänge über Cloudera Manager überwachen. Obwohl die Kanalkonfigurationsanzeige in CM die Option zum Hinzufügen von benutzerdefinierten conf-Eigenschaften bietet, gilt dies jedoch nur für einen einzelnen Kanalagenten.

Ich kann über CM auf einem Host keinen weiteren Kanal hinzufügen. Wie kann ich beide Aufnahmevorgänge mit Cloudera Manager überwachen?

Answer 1

Wenn Sie nur einen einzigen Flume-Agenten überwachen können, denke ich, dass Sie beide Agentenkonfigurationsdateien in einem einzigen zusammenführen könnten, um einen einzelnen Flume-Agenten (den Sie überwachen könnten) auszuführen.

Sie können so viele Quellen, Kanäle und Senken erklären, wie Sie wollen:

a1.sources = r1 r2 
a1.sinks = k1 k2 
a1.channels = c1 c2 

Und dann binden sie entsprechend:

a1.sources.r1.channels = c1 
a1.sources.r2.channels = c2 
... 
a1.sinks.k1.channel = c1 
a1.sinks.k2.channel = c2