Wie berechnet man Durchsatz von Kanal in hadoop

Question

Wie kann ich den Durchsatz von Kanal in meinem Hadoop-Cluster berechnen? Ich mache das zum ersten Mal. Alle meine Daten, die in HDFS geschrieben werden, sind über Gerinne.

ich auf ein paar Charts in HDFS gesucht und gefunden: Total Bytes Written Über Datanodes scheint sich um 2,2 MB/s avg für eine 1 d Zeit zu sein. ist das richtig und der Weg zu gehen?

Answer 1

Verwenden Sie eine Distribution wie HDP oder CDH ?. CDH bietet eine schöne Metrik, wenn Sie den Flume Agent über Cloudera Manager anzeigen. Es bietet die folgenden Kanal: Verhältnis% setzen, Ratio% Quelle nehmen: Event-Erfolg Empfangen pro Sekunde Sink: Event-Ablauf Erfolg pro Sekunde

Ich nehme an, dass das, was Sie für

suchen