HDFS-Speicherüberprüfung zeigt verschiedene Werte

Question

Ich konfrontiert eine seltsame Situation, wo ich verschiedene Ergebnisse von hdfs dfs -du Befehl und was ich in Manager sehe, las ich über die Unterschiede zwischen den 2, aber keine Ahnung, die helfen könnte ich, um das Problem zu lösen und es zu lösen.

Ich löschte auch alle Snapshots und verbot ihnen, aber der Speicher änderte sich nicht.

Unten finden Sie die Ausgabe:

[cloudera-scm@roor-chc101 root]$ hdfs dfs -du -h -s . 
2.3 G 5.8 G . 
[cloudera-scm@roor-chc101 root]$ hdfs dfs -du -h -s/
250.3 T 749.3 T 

Cloudera Manager UI

Ich habe auch die hdfs dfsadmin -report, die die gleichen Ergebnisse wie die UI

Configured Capacity: 1.54 PB 
DFS Used: 897.77 TB 
Non DFS Used: 2.98 GB 
DFS Remaining: 682.27 TB 
DFS Used%: 56.82% 
DFS Remaining%: 43.18% 
Block Pool Used: 897.77 TB 
Block Pool Used%: 56.82% 
DataNodes usages% (Min/Median/Max/stdDev): 11.17%/58.94%/69.35%/13.31% 
Live Nodes 45 (Decommissioned: 0) 
Dead Nodes 0 (Decommissioned: 0) 
Decommissioning Nodes 0 
Total Datanode Volume Failures 0 (0 B) 
Number of Under-Replicated Blocks 0 
Number of Blocks Pending Deletion 0 
Block Deletion Start Time 8/14/2017, 10:57:30 AM 

Answer 1

i hdfs dfs -du hinzugefügt zeigt - h -s. und hdfs dfs -du -h -s/nur um nichts zu zeigen, was ich übersehen könnte, was unter/user/cloudera-scm sein könnte.

Die Cloudera-Manager-Benutzeroberfläche zeigt denselben Wert wie die hdfs dfsadmin -report.

BTW, löste ich das Problem, wo ich find/tmp/logs/cloudera-scm verwendet 150T und noch wenig Interessantes, warum dieses Volumen nicht berücksichtigt wurde, als ich hdfs lief dfs -du -h es