Durchsatz bei Datenknoten messen

Question

Ich möchte den Durchsatz bei jedem Datenknoten messen, indem ich die Zeit für jeden Lese-/Schreibvorgang mißt. Es ist sehr verwirrend, die Millionen von Funktionen zu lesen und herauszufinden, wo das geschieht. Kann jemand die Reihe von Anrufen auflisten, die beim Lesen/Schreiben eines Datenblocks ausgeführt wurden? verwende Version 1.0.1. Alternativ, wenn es bereits eine API gibt, die dies am Datenknoten misst, könnte ich diese Information verwenden.

Answer 1

Die wichtigen zu untersuchenden Klassen zur Durchsatzmessung sind FSDataOutputStream für Schreibvorgänge und FSDataInputStream für Lesevorgänge.

Datei lesen: Das erste, was ein Knoten ist, wenn eine Datei zu lesen Anruf open() auf das FileSystem Objekt. An diesem Punkt wissen Sie, dass dieser Knoten in Kürze zu lesen beginnt und Sie können Code platzieren, nachdem dieser Aufruf erfolgreich abgeschlossen wurde, um Ihre Messungen vorzubereiten. Der Aufruf von open() auf HDFS instanziiert einen DistributedFileSystem, der mit dem NameNode kommuniziert, um Blockspeicherorte zu sammeln (sortiert nach aufrufender Knotennähe). Schließlich gibt das Objekt DistributedFileSystemFSDataInputStream zurück ("sieht" eine Datei lesen), der wiederum DFSInputStream umschließt ("sieht" Lese-Blöcke, behandelt Fehler). Ihre Messungen würden innerhalb der read() und close() Anruf auf der FSDataInputStream Bereich werden.

Datei schreiben: Der Knoten ruft create() auf der FileSystem. Zu diesem Zeitpunkt werden verschiedene Prüfungen durchgeführt, die Dateiberechtigungen, Verfügbarkeit usw. umfassen, aber nach dem erfolgreichen Abschluss wird ein FSDataOutputStream Objekt zurückgegeben, das eine DFSOutputStream umschließt. Dasselbe Konzept gilt, wenn man einen kontinuierlichen Schreibvorgang sieht, behandelt der andere die Kohärenz des Replikationsfaktors (d. H. Ein Schreibvorgang = drei Schreibvorgänge) und einen Fehler. Ähnlich wie bei einem Lesevorgang würden Ihre Messungen innerhalb des write() und close() Aufrufs unter FSDataInputStream liegen.

Um dies global für alle Knoten in Ihrem Cluster durchzuführen, müssen Sie diese Methoden als Teil der Hadoop-Verteilung überschreiben, die Sie in Ihrem Cluster freigeben.