Anzahl der Knoten im Hadoop-Cluster

Question

Ich versuche, einen Hadoop-Cluster mit mehreren Knoten einzurichten.

Wenn ich meine Cluster hier ist meine Antwort in der Konsole starten ..

hduser@hadoop-master:/usr/local/hadoop$ /usr/local/hadoop/sbin/start-dfs.sh 
Starting namenodes on [hadoop-master] 
hadoop-master: starting namenode, logging to /usr/local/hadoop/logs/hadoop-hduser-namenode-hadoop-master.out 
hadoop-master: starting datanode, logging to /usr/local/hadoop/logs/hadoop-hduser-datanode-hadoop-master.out 
hadoop-child: starting datanode, logging to /usr/local/hadoop/logs/hadoop-hduser-datanode-hadoop-child.out 
Starting secondary namenodes [0.0.0.0] 
0.0.0.0: starting secondarynamenode, logging to /usr/local/hadoop/logs/hadoop-hduser-secondarynamenode-hadoop-master.out 
hduser@hadoop-master:/usr/local/hadoop$ jps 
21079 NameNode 
21258 DataNode 
21479 SecondaryNameNode 
21600 Jps 
hduser@hadoop-master:/usr/local/hadoop$ /usr/local/hadoop/sbin/start-yarn.sh 
starting yarn daemons 
starting resourcemanager, logging to /usr/local/hadoop/logs/yarn-hduser-resourcemanager-hadoop-master.out 
hadoop-child: starting nodemanager, logging to /usr/local/hadoop/logs/yarn-hduser-nodemanager-hadoop-child.out 
hadoop-master: starting nodemanager, logging to /usr/local/hadoop/logs/yarn-hduser-nodemanager-hadoop-master.out 
hduser@hadoop-master:/usr/local/hadoop$ jps 
21079 NameNode 
21258 DataNode 
22117 Jps 
21815 NodeManager 
21479 SecondaryNameNode 
21658 ResourceManager 

Sie einen DataNode sehen in Hadoop-Kind-Maschine gestartet wird.

Jetzt, wenn ich versuche, alle Knoteninformationen zu erhalten. Ich sehe nicht, dass alle Knoten angezeigt werden.

hduser@hadoop-master:/usr/local/hadoop$ bin/hdfs dfsadmin -report 
Configured Capacity: 21103243264 (19.65 GB) 
Present Capacity: 17825124352 (16.60 GB) 
DFS Remaining: 17821085696 (16.60 GB) 
DFS Used: 4038656 (3.85 MB) 
DFS Used%: 0.02% 
Under replicated blocks: 0 
Blocks with corrupt replicas: 0 
Missing blocks: 0 
Missing blocks (with replication factor 1): 0 

------------------------------------------------- 
Live datanodes (1): 

Name: 127.0.0.1:50010 (localhost) 
Hostname: localhost 
Decommission Status : Normal 
Configured Capacity: 21103243264 (19.65 GB) 
DFS Used: 4038656 (3.85 MB) 
Non DFS Used: 3278118912 (3.05 GB) 
DFS Remaining: 17821085696 (16.60 GB) 
DFS Used%: 0.02% 
DFS Remaining%: 84.45% 
Configured Cache Capacity: 0 (0 B) 
Cache Used: 0 (0 B) 
Cache Remaining: 0 (0 B) 
Cache Used%: 100.00% 
Cache Remaining%: 0.00% 
Xceivers: 1 
Last contact: Sun Feb 26 17:13:04 UTC 2017 

Ich muss Informationen von Master und Kind hier anzeigen. Ich habe 1 Master und 1 Kindknoten.

******************** Fix *******

auf Frank Based dies ist, wie es behoben wurde ..

1. Bearbeitete die Datei/etc/config und gab sowohl die Master- als auch die Kind-IP-Adresse.

geändert, um die Leitung unter 2

127.0.0.1 localhost hadoop-master 
961.118.98.183 hadoop-child 

bis (in beiden Knoten)

127.0.0.1 localhost 
961.118.99.251 hadoop-master 
961.118.98.183 hadoop-child 

2.Restart der Cluster in der order..the DataNode folgenden soll neu formatiert werden.

format will remove only the meta, the datanode's data directories will still be using the old namenode's identity which wil cause the datanode to fail(so delete the directories). 

Can you please this order.. 
1) stop the cluster 
2) rm -rf /path/to/datanode/data/dir (in both nodes) 
3) hadoop namenode -format 
4) START cluste 

Answer 1

Wenn eine Mehrknoten-Umgebung einrichten, die namenode und die resourcemanager Adressen explizit definiert werden müssen.

Fügen Sie diese Eigenschaft auf core-site.xml in beiden Knoten,

<property> 
    <name>fs.defaultFS</name> 
    <value>hdfs://hadoop-master:8020</value> 
</property> 

diese auch in yarn-site.xml,

<property> 
    <name>yarn.resourcemanager.hostname</name> 
    <value>hadoop-master</value> 
</property> 

Vergewissern Sie sich in der /etc/hosts Datei aller Knoten, die IP-Adresse und Hostnamen Die Zuordnung ist abgeschlossen.

Hinweis: Wenn die Dienste ausgeführt werden, sie stoppen und diese Eigenschaften hinzufügen, bevor sie wieder zu starten.