2016-11-27 7 views
-1

Ich versuche Hadoop zu verstehen und ich beziehe mich auf dieses Buch: Hadoop: The definitive Guide".Einige Informationen benötigt für Hadoop namenode

Ich habe einige Zweifel in den Daten zu verstehen, die NameNode verwaltet, finden Sie auf das Bild unten:

enter image description here

Auf dieser Grundlage habe ich die folgenden Fragen:

Q1) Was ist die Bedeutung von filesystem namespace?
Q2) was bedeutet filesystem tree?
Q3) Was ist meta-data? Sind meta-data und namespace zwei verschiedene Dinge?
Q4) Was ist namespace image?
Q5) Was ist edit logs?

Kann mir bitte jemand helfen, dies zu verstehen?
Es gibt viele Terminologien und keine Klarheit des Begriffs.

Antwort

1

Dateisystembaum ... /,/home,/tmp, usw. Das Dateisystem. HDFS ist eine Abstraktionsschicht über die physikalischen Laufwerke, auf denen es ausgeführt wird.

Metadaten .. Datei XYZ befindet sich bei/tmp und ist 5 KB groß und ist schreibgeschützt. Daten gespeichert, die jede Datei identifizieren - Ort, Größe, Berechtigungen usw.

Der Namespace ist die Kombination dieser Elemente.


Ein Bearbeitungsprotokoll ist eine Abschrift von Aktionen gegen dieses Bild durchgeführt, um Checkpoints fehlertolerant und bietet, bei der der Datenkonsistenz bekannt ist. Dieser Mechanismus hat weniger Overhead als der Vergleich von Raw-Dateien in einem verteilten System.

Der Rest der Frage nach namespace image and edit log

+0

Dank beantwortet wird für Ihre Antwort so viel. In diesem Diagramm heißt es, dass fsimage- und Edit-Logs den Block-Ort nicht speichern, und wenn der Datanode startet, wird diese Information konstruiert; wie ist das möglich? Haben fsimage und edits diese Informationen nicht? – CuriousMind

+0

Es speichert sie nicht dauerhaft. Bedeutet nicht, dass es es überhaupt nicht speichert. Es befindet sich im Speicher, nachdem das System gestartet und aufgebaut wurde –

Verwandte Themen