HDFS: Wie Freiraum/Neuausgleich nach dem Hinzufügen neuer Knoten?

Question

Ich habe einen zweiten Knoten zu meinem HDFS hinzugefügt. Der Master-Server hat vor dem Hinzufügen des Knotens eine Plattenauslastung von 91%. Danach wird der freie Platz immer kleiner. Ich habe den Cluster mit einem Schwellenwert von 10 neu ausgerichtet, und der Blockreplikationsfaktor ist auf 3 festgelegt. Meine Hadoop-Version ist 2.2.4.2-2. Irgendwelche Ideen, um Platz auf meinem Master-Knoten zu schaffen?

Answer 1

Sie hatten einen einzigen Datenknoten, der vermutlich alle HDFS-Blöcke enthielt. Jeder Block hatte nur eine Kopie. Wenn Sie einen zweiten Knoten hinzufügen und den Replikationsfaktor 3 beibehalten, kopieren Sie bestenfalls jeden Block auf den neuen Knoten, um einen tatsächlichen Replikationsfaktor 2 zu erhalten (jeder Block hat 2 Kopien, eine auf jedem Knoten). Keine Speicherplatzreduzierung auf dem früheren einzelnen Knoten. Wenn Sie dann einen dritten Datenknoten hinzufügen, erzielen Sie im besten Fall 3 Kopien für jeden Block, einen auf jedem Knoten, und keine Reduzierung des Speicherplatzes auf dem ursprünglichen Knoten. Nur wenn Sie einen vierten Knoten hinzufügen, kann eine Verringerung der Festplattennutzung erreicht werden, indem etwa 1/4 der Blockreplikate vom ursprünglichen Knoten entfernt werden.

Sie müssen entweder Ihren Replikationsfaktor reduzieren oder mehr als 3 Knoten hinzufügen. 6 Knoten erreichen eine 50% ige Reduktion bei Replikationsfaktor 3. Oder ändern Sie den Replikationsfaktor auf 1 und erzielen Sie eine Reduktion von 50% mit nur 2 Knoten, wobei das Risiko besteht, dass Sie Blöcke verlieren.