Wie kann ich das Hadoop-Dateisystem auf einer anderen physischen Festplatte als der Festplatte von hadoop installieren?

Question

Ich versuche, Hadoop in einer Multinode-Cluster-Umgebung zu installieren. Ich habe Ubuntu 15.10 auf einer SSD installiert. Ich möchte hadoop 2.6.2 auf der SSD installieren und mein HDFS auf einer separaten SATA-Festplatte halten. Welche Schritte sollte ich folgen?

Ich habe Hadoop in SSD mit den folgenden Konfigurationen in hdfs-site.xml installiert. Daher habe ich die Eigenschaft dfs.datanode.data.dir als Datei: /// Media/coea23/HDFS/hdfs/datanode festgelegt. Aber der Datanode wird nicht angezeigt, während jps ausgeführt wird, während der namenode zeigt, welches in der SSD ist, wo die hadoop-Installation durchgeführt wurde.

<property> 
<name>dfs.datanode.data.dir</name> 
<value>file:///media/coea23/HDFS/hdfs/datanode</value> 
<description>DataNode directory</description> 
</property> 

<property> 
<name>dfs.namenode.name.dir</name> 
<value>file:///home/hduser/hdfs/namenode</value> 
<description>NameNode directory for namespace and transaction logs storage.</description> 
</property> 

Bitte geben Sie Ihren wertvollen Vorschlag. Danke im Voraus.

Kamaruddin

Answer 1

Sie diese Datei in der Config konfigurieren ...

hdfs-site.xml auf jeder DataNode:

<property> 
<name>dfs.datanode.data.dir</name> 
<value>file:///data/1/dfs/dn,file:///data/2/dfs/dn,file:///data/3/dfs/dn,file:///data/4/dfs/dn</value> 
</property> 

bearbeiten

Hinweis :

dfs.data.dir und dfs.name.dir sind veraltet; Sie sollten stattdessen dfs.datanode.data.dir und dfs.namenode.name.dir verwenden, obwohl dfs.data.dir und dfs.name.dir weiterhin funktionieren.