hdfs Datenschräglauf, warum sind die Dateien nicht gleichmäßig verteilt?

Question

Ich führe ein HDFS mit 32 Slaves.

Jeder Slave hat rund lokalen Speicherplatz 300GB verbleibenden (der Rest ist nicht für HDFS.)

Wenn ich 32 * 100 GB Dateien setzen, die Dateien in nur einige Sklaven geliefert werden. Es stürzt die Aufgabe aufgrund des fehlenden Speicherplatzes ab.

Wie kann ich dieses Problem vermeiden?

Answer 1

Ich bin kein Admin, aber hier ist das erste, was mir in den Sinn kam, wenn ich Ihre Frage anschaute.

Hadoop ist ein "topologiebewusstes" System. Bitte lesen Sie darüber

Wenn die Topologie nicht korrekt ist, schreibt das HDFS mit Standardreplikation (3x) in der Reihenfolge (zufälliger Knoten -> Knoten auf einem anderen Rack -> gleichen Rack wie das zweite Replikat aber ein anderer Knoten).

Gute Idee, um den Replikationsfaktor auch zu überprüfen. Hoffe das hilft!