Hinzufügen neuer Festplatten zu Datanode mit größeren Festplattentreibern

Ich führe ein hdfs mit einigen Datenknoten, jeder Datenknoten hat 8 x 1TB Festplattentreiber.Hinzufügen neuer Festplatten zu Datanode mit größeren Festplattentreibern

Ich möchte 2 x 2 TB Festplatten für jeden Datenknoten hinzufügen. Ich weiß, wie man neue harte Treiber für Datanode hinzufügt, aber ich verwechsle, dass neue harte Treiber größer als der alte ist, so dass es vielleicht Probleme bei der Datenverteilung unter den harten Treibern auf dem Datenknoten gibt.

Ich denke, es ist besser, 2 logische Treiber (1 TB) auf 2 TB Harddriver zu erstellen und dann an OS zu mounten, so dass das Volumen jedes Datenknotenpfads der gleiche ist.

Ich brauche einige Ratschläge. Danke fürs Lesen!

Quelle

2016-09-20 Ha Pham

Wenn Sie Datenträger mit unterschiedlicher Größe in einem Datenknoten haben, ist es ein häufiges Problem, dass die kleineren Datenträger schneller als die größten auffüllen. Dies liegt daran, dass das Standardvolume, das die Richtlinie im Datenknoten auswählt, Round-Robin ist. Grundsätzlich schreibt der Datenknoten der Reihe nach neue Daten auf jede Festplatte, wobei die Größe der Festplatten oder deren freier Speicherplatz nicht berücksichtigt wird.

Es gibt eine Alternative Volumen Auswahl Politik, die auf Datanodes mit Mischformatplatten genannt AvailableSpaceVolumeChoosingPolicy zu verwenden, ideal ist - Ich bin nicht sicher, welche Verteilung von Hadoop Sie verwenden, aber die CDH-Dokumentation ist:

https://www.cloudera.com/documentation/enterprise/5-5-x/topics/admin_dn_storage_balancing.html#concept_tws_bbg_2r

Wenn Sie zu dieser Richtlinie wechseln, werden standardmäßig 75% der neuen Schreibvorgänge auf die nicht verwendeten Festplatten übertragen, bis sie die anderen Festplatten eingeholt haben und dann auf Round-Robin-Schreibvorgänge zurückgreifen.

Quelle

2016-09-20 14:04:26

Ich verwende CDH. Ihre Informationen sind sehr hilfreich. –

8 alte Scheiben wurden 80% verwendet. Nach dem Hinzufügen einer neuen Festplatte hatte ich Balancer auf CDH ausgeführt. Ich dachte, jeder Datenknoten würde Daten vom alten auf den neuen Datenträger kopieren, um das Gleichgewicht zu halten, aber das war es nicht. Hast du eine Idee für dieses Problem? Vielen Dank! –

Der Balancer verschiebt Daten zwischen Datenträgern innerhalb eines Datenknotens nicht. Es bewegt nur Daten zwischen Daten. Soweit ich weiß, gibt es keine Möglichkeit, Daten innerhalb eines Datenkanals automatisch von einem Datenträger auf einen anderen zu verschieben. Bei Festplatten mit einer Kapazität von 80% sollten Sie, wenn Sie zu AvailableSpace wechseln, mit OK arbeiten und die neuen Festplatten beginnen sich zu füllen. –

Hinzufügen neuer Festplatten zu Datanode mit größeren Festplattentreibern

Antwort

Verwandte Themen