HDFS Configured Capacity ist geringer als die ursprüngliche Kapazität nach dfsadmin Befehl

Question

Ich habe 2-Knoten-Cluster mit Cloudera Manager 5.4.1 in VMWare-Workstation implementiert und dies umfasst Komponenten wie Hbase, Impala, Hive, Sqoop2, Oozie, Zookeeper, NameNode , SecondaryName und YARN. Ich habe 3 Laufwerke pro Knoten simuliert, einschließlich SDA für OS, SDB & SDC für Hadoop-Speicher.

Da ich SDB1 mit 16 GB und SDC1 mit 16 GB für Hadoop-Speicher auf jedem der Knoten zugewiesen hatte zugewiesen. Daher nehme ich an, dass meine Gesamtkapazität für HDFS-Speicher einschließlich beider Knoten 64 GB betragen sollte. Aber wenn ich die Ausgabe mit dem Befehl dfsadmin überprüfe und auch die Benutzerschnittstelle von NameNode verwende, sehe ich, dass die "konfigurierte Kapazität kleiner ist als meine ursprüngliche Festplattengröße, die für HDFS reserviert ist". Ich habe die Ausgabe des Befehls dfsadmin unten gezeigt und auch die Ausgabe von df -h wird angezeigt. Bitte helfen Sie mir zu verstehen, warum die konfigurierte Kapazität geringer ist als meine ursprüngliche Festplattengröße?

[hduser@node1 ~]$ df -h 


Filesystem      Size Used Avail Use% Mounted on 
/dev/mapper/vg_node1-LogVol00 40G 15G 23G 39%/
tmpfs       3.9G 76K 3.9G 1% /dev/shm 
/dev/sda1      388M 39M 329M 11% /boot 
/dev/sdb1      16G 283M 15G 2% /disks/disk1/hdfsstorage/dfs 
/dev/sdc1      16G 428M 15G 3% /disks/disk2/hdfsstorage/dfs 
/dev/sdb2      8.1G 147M 7.9G 2% /disks/disk1/nonhdfsstorage 
/dev/sdc2      8.1G 147M 7.9G 2% /disks/disk2/nonhdfsstorage 
cm_processes     3.9G 5.8M 3.9G 1% /var/run/cloudera-scm-agent/process 
[hduser@node1 ~]$ 


[hduser@node1 zookeeper]$ sudo -u hdfs hdfs dfsadmin -report 
[sudo] password for hduser: 
Configured Capacity: 47518140008 (44.25 GB) 
Present Capacity: 47518140008 (44.25 GB) 
DFS Remaining: 46728742571 (43.52 GB) 
DFS Used: 789397437 (752.83 MB) 
DFS Used%: 1.66% 
Under replicated blocks: 385 
Blocks with corrupt replicas: 0 
Missing blocks: 0 
Missing blocks (with replication factor 1): 0 

------------------------------------------------- 
Live datanodes (2): 

Name: 192.168.52.111:50010 (node1.example.com) 
Hostname: node1.example.com 
Rack: /default 
Decommission Status : Normal 
Configured Capacity: 23759070004 (22.13 GB) 
DFS Used: 394702781 (376.42 MB) 
Non DFS Used: 0 (0 B) 
DFS Remaining: 23364367223 (21.76 GB) 
DFS Used%: 1.66% 
DFS Remaining%: 98.34% 
Configured Cache Capacity: 121634816 (116 MB) 
Cache Used: 0 (0 B) 
Cache Remaining: 121634816 (116 MB) 
Cache Used%: 0.00% 
Cache Remaining%: 100.00% 
Xceivers: 2 
Last contact: Sun May 15 18:15:33 IST 2016 


Name: 192.168.52.112:50010 (node2.example.com) 
Hostname: node2.example.com 
Rack: /default 
Decommission Status : Normal 
Configured Capacity: 23759070004 (22.13 GB) 
DFS Used: 394694656 (376.41 MB) 
Non DFS Used: 0 (0 B) 
DFS Remaining: 23364375348 (21.76 GB) 
DFS Used%: 1.66% 
DFS Remaining%: 98.34% 
Configured Cache Capacity: 523239424 (499 MB) 
Cache Used: 0 (0 B) 
Cache Remaining: 523239424 (499 MB) 
Cache Used%: 0.00% 
Cache Remaining%: 100.00% 
Xceivers: 2 
Last contact: Sun May 15 18:15:32 IST 2016 

Answer 1

sollten Sie die Konfiguration

<property> 
    <name>dfs.datanode.du.reserved</name> 
    <value>0</value> 
    <description>Reserved space in bytes per volume. Always leave this much space free for non dfs use. 
    </description> 
</property> 

Der reservierte Raum nicht Teil der 'Konfiguriert Kapazität' ist zu überprüfen.