HDFS repliziert keine Blöcke

Question

Ich habe vor kurzem Hadoop (Cloudera) installiert. Ich erhalte einen Fehler, den ich unter replizierten Blöcken habe (in Cloudera Manager, der ein GUI für die Installation ist). Also, wenn ich laufen

hdfs dfsadmin -report 

ich

Configured Capacity: 555730632704 (517.56 GB) 
Present Capacity: 524592504832 (488.56 GB) 
DFS Remaining: 524592193536 (488.56 GB) 
DFS Used: 311296 (304 KB) 
DFS Used%: 0.00% 
Under replicated blocks: 5 
Blocks with corrupt replicas: 0 
Missing blocks: 0 
Missing blocks (with replication factor 1): 0 

Was bedeutet, dass aus irgendeinem Grund meine hdfs nicht die Blöcke repliziert. Was kann ich von hier aus überprüfen? Ist es möglich, dass es ein Problem mit meinem HDFS Balancer ist und dass ich es manuell ausführen muss?

Answer 1

Es gibt zwei Hauptgründe für unter replizierten Blöcken:

1. Replikationsfaktor Knoten verfügbaren Daten überschreitet

Angenommen, Sie nur 2 Datenknoten haben, und der Replikationsfaktor 3, dann wird jeder Block, Sie erstellen bleiben unter repliziert, da es einfach nicht 3 Datenknoten gibt, zu replizieren.

Lösungen können entweder Datenknoten hinzufügen oder den Replikationsfaktor reduzieren.

2. Cluster ist zu beschäftigt gewesen

Der Cluster ‚echte‘ Arbeit über die Replikation von Blöcken wird priorisieren. Wenn Sie also eine große Anzahl von Blöcken erstellen, kann es eine Weile dauern, bis Sie den Rückstand aufholen. Wenn Ihr Cluster permanent ausgelastet ist, gibt es theoretisch immer einige unter replizierte Blöcke.

Beachten Sie, dass, wie Sie erwähnen, dass es ein neues Cluster ist, und die Festplatte scheint fast leer zu sein, ich glaube nicht, dass 2 hier der Fall sein wird.

---

Zusätzlich dazu ist es natürlich möglich, dass etwas (wie das Balancing) tatsächlich brach, aber ich würde keine Sorgen darüber, dass bis Sie überprüft, dass die beiden Fälle ausgeschlossen werden oben können. Die meisten Dinge, die brechen, neigen dazu, hier oder dort zu einem Fehler zu führen, vorausgesetzt, dass Sie keine sehen, ist es unwahrscheinlich, dass dies der Fall ist.