Zugriff auf HDFS Remotedly

Question

Ich habe hadoop Server auf bestimmten Server ausgeführt wird, lassen Sie uns auf IP sagen 192.168.11.7 und sein Kern-site.xml haben wie folgt:

<configuration> 
<property> 
     <name>fs.defaultFS</name> 
     <value>hdfs://localhost:9000</value> 
</property> 

ich bereits meine hdfs laufen , dh mit Befehl:

Jetzt möchte ich auf den HDFS von meinem lokalen Computer mit Browser zugreifen. Ist es möglich?

Ich versuchte http://192.168.11.7:9000 oder http://192.168.11.7:50075, aber ohne Erfolg. dh Diese Seite kann nicht

Vielen Dank

Redaktion zu erreichen:

Dies ist der Inhalt meiner hdfs-site.xml:

<configuration> 
<property> 
     <name>dfs.replication</name> 
     <value>1</value> 
    </property> 
<property> 
    <name>dfs.webhdfs.enabled</name> 
    <value>true</value> 
</property> 
<property> 
    <name>dfs.namenode.http-address</name> 
    <value>0.0.0.0:50070</value> 
</property> 

und Mein Kern-site.xml:

<configuration> 
<property> 
     <name>fs.defaultFS</name> 
     <value>hdfs://localhost:9000</value> 
</property> 

<property> 
     <name>dfs.datanode.http.address</name> 
     <value>0.0.0.0:50075</value> 
</property> 

aber wenn ich es von ly lokalen Computer zugreifen: http://192.168.11.7:50075, immer noch keinen Nutzen Gibt es etwas falsch?

Danke

Answer 1

(Frage jetzt bearbeitet)

Versuchen 50070 Port Zugriff auf den Standardwert für dfs.http.address ist. Hier können Sie auf die Weboberfläche des namenode zugreifen. Das sollte funktionieren. Wenn dies der Fall ist, können Sie /explorer.html#/ an die URL vor (d. H. http://192.168.11.7:50070/explorer.html#) anhängen und Sie sollten in der Lage sein, das Dateisystem von dort zu durchsuchen.

Verweisen Sie auf SO Answer, um die Standardwerte für verschiedene Ports verschiedener Eigenschaften anzuzeigen.

Oder waten Sie durch die Ausgabe von hadoop org.apache.hadoop.conf.Configuration in Ihrem Server, um zu sehen, ob der Wert von dfs.http.address geändert wurde, wenn http://192.168.11.7:50070/ nicht von Ihrem Browser funktioniert.

Also im Grunde:

• Überprüfen Sie, ob diese http://192.168.11.7:50070 Werke funktioniert, wenn es um http://192.168.11.7:50070/explorer.html# gehen funktioniert
das Dateisystem zugreifen
• Else, durch die Ausgabe von hadoop org.apache.hadoop.conf.Configuration gehen, um zu sehen, ob dieser Wert dfs.http.address gewesen geändert. Es wird wahrscheinlich da sein.

[ALTE ANTWORT]

Was Sie suchen, ist eine SSH-Verbindung zum Remote-Server. Ich glaube, dass diese nice tutorial Ihnen helfen wird zu erreichen, wonach Sie suchen.

Es ist unwahrscheinlich, dass Sie einen Windows-Server verwenden, aber wenn Sie sind, glaube ich, this'll Ihnen helfen.

Wenn Sie dies tun, erhalten Sie Terminal-Zugriff auf Ihren Remote-Server.

Wenn Sie nach einem Browserzugriff suchen, können Sie versuchen, etwas Ähnliches wie aufgeführt here und here.

Answer 2

Es sollte einige Verbindungen zwischen zwei Maschinen geben. Entweder configure SSH oder HttpFS

Answer 3

Bitte beachten Sie:

<property> 
     <name>fs.defaultFS</name> 
     <value>hdfs://localhost:9000</value> 
</property> 

ist nicht für die Benutzer und ihre Browser. Dieser Wert wird von Java-Programmen gelesen, wenn auf HDFS zugegriffen werden muss. Was Sie suchen, ist dieser Schlüssel:

<property> 
     <name>dfs.datanode.http.address</name> 
     <value>0.0.0.0:50075</value> 
</property> 

Hier wird der DataNode seinen Status aussetzt. Um mit einem Webbrowser in HDFS zu surfen, müssen Sie webhdfs aktivieren.

<property> 
    <name>dfs.webhdfs.enabled</name> 
    <value>true</value> 
</property> 
<property> 
    <name>dfs.namenode.http-address</name> 
    <value>0.0.0.0:50070</value> 
</property> 

in hdfs-site.xml

dann http://hostname:50070 gehen webHDFS UI für den Zugriff auf von dort kann man alles überprüfen.