Wie konfiguriert man Schwein für den Zugriff auf Daten über WebHDFS?

Question

Ich bin neu in Hadoop, also bitte verzeihen Sie mir, wenn diese Frage ein Fehler ist. Ich versuche, Schwein zu konfigurieren, um webhdfs zu verwenden, um Daten zu erhalten. Ich weiß nicht, wie dies zu tun habe ich versucht: -

Configuration configuration = new Configuration(); 
conf.set("fs.defaultFS","webhdfs://<uri>:50070"); 
properties.putAll(ConfigurationUtil.toProperties(conf)); 

ich dann diese Eigenschaft Objekt übergeben (Eigenschaften) auf die Eigenschaften in der Hauptdatei von Schweinewidersprechen. Dies scheint jedoch nicht zu funktionieren. Jeder Zugriff auf hdfs kommt nur ohne Antwort aus. Kann mir jemand sagen, wie das geht?

Answer 1

Nach viel Versuch und Irrtum denke ich, dass ich das Problem gelöst haben könnte. Das Problem war nicht mit den übergebenen Konfigurationen (ich hätte einfach eine core-site.xml auf meinem Klassenpfad behalten können, übrigens mit der fs.defaultFS-Eigenschaft wie oben). Das Problem war das Schwein Skript-Datei, die ich versuche, hatte so etwas wie zu laufen: -

REGISTER 'hdfs://<uri>:9000/filename.jar' 

Wenn es

gewesen sein sollte

REGISTER 'webhdfs://<uri>:50070/filename.jar' 

nicht sicher, ob das ziemlich offensichtlich war, und ich verschwendete Zeit. Das tut mir leid.