Was ist der Unterschied zwischen Hadoop Nameode HA und HDFS Federation?

Question

Ich bin ein wenig verwirrt mit Hadoop Nameode HA mit QJM und HDFS Federation. Beide verwenden mehrere Namen und beide bieten hohe Verfügbarkeit. Ich bin nicht in der Lage zu entscheiden, welche Architektur für Nameode High Availability verwendet werden soll, da beide mit Ausnahme der QJM-Sache genau gleich aussehen.

Bitte verzeihen Sie mir, wenn dies nicht die Art von Frage ist, die hier besprochen werden soll.

Answer 1

Der Hauptunterschied zwischen HDFS High Availability und HDFS Federation besteht darin, dass die Namen in Federation nicht miteinander verknüpft sind. In der HDFS-Föderation teilen sich alle Namensknoten einen Pool von Metadaten, in dem jeder Namensknoten seinen eigenen Pool hat, wodurch Fehlertoleranz bereitgestellt wird. Wenn beispielsweise ein Namensknoten in einem Verbund ausfällt, hat dies keine Auswirkungen auf die Daten anderer Namensknoten.

Also, Federation = Mehrere Namenodes und keine Korrelation.

Während im Falle von HDFS HA, gibt es zwei Namenodes - Primary NN und Standby NN. Primary NN arbeitet ständig hart, jedes Mal wenn Standby NN nur da sitzt und seine Metadaten in Bezug auf den Primary Nameode ab und zu aktualisiert und aktualisiert. Wenn das primäre NN dieses gewöhnliche Blatt ermüdet (d. H. Es schlägt fehl), übernimmt der Standby-NameNode die neuesten Metadaten, die er hat.

Wie für eine HA-Architektur müssen Sie mindestens zwei Sepearte-Maschinen als Nameode konfiguriert haben, von denen nur einer im aktiven Zustand ausgeführt werden sollte.

Weitere Details hier: HDFS High Availability