2016-10-17 5 views
0

Wir haben eine 12-Server-Hadoop-Cluster (CDH), Recent, wir wollen drei von ihnen außer Betrieb nehmen, aber dieser Prozess lief bereits dort mehr als 2 Tage. Aber es hört nie auf. Vor allem in den letzten 24 Stunden habe ich gesehen, dass auf den drei Datenknoten nur 94G Daten verfügbar sind, aber die Größe scheint sich in den letzten 24 Stunden nicht zu ändern. selbst durch die unter replizierten Blöcke war die Nummer schon Null. Der Replikationsfaktor ist 3 für alle Daten in hdfs.CDH HDFS-Knoten-Dekommission endet nie

Unten ist das Ergebnis für hadoop fsck Befehl:

Gesamtgröße: 5789534135468 B (Total offene Dateien Größe: 94222879072 B) Gesamt dirs: 42458 Alle Dateien: 5.494.378 Gesamt Symlinks: 0 (Files wird gerade geschrieben: 133) Gesamtblöcke (validiert): 5506578 (durchschnittliche Blockgröße 1051385 B) (Gesamtzahl geöffneter Dateiblöcke (nicht validiert): 822) Minimal replizierte Blöcke: 5506578 (100,0%) Überreplizierte Blöcke: 0 (0.0%) Nicht replizierte Blöcke: 0 (0.0%) Mis-replizierten Blöcke: 0 (0,0%) Standardreplikationsfaktor: 3 mittlerer Block Replikation: 2,999584 Beschädigte Blöcke: 0 Fehlende Repliken: 0 (0,0%) Anzahl des Datenknoten: 13 Anzahl von Gestellen : 1 FSCK beendet am Mo Okt 17 16:36:09 KST 2016 in 781094 Millisekunden

Antwort

1

Sie können versuchen, Cloudera Agent auf dem Datenknoten zu stoppen.

sudo service cloudera-scm-agent hard_stop_confirmed

Nachdem der Agent beendet wird, können Sie löschen nur, dass DataNode von hdfs Instanz Seite

Hoffnung funktioniert diese