1. Zuhause
  2. Frage und Antwort
  3. Hadoop Konfigurationsobjekt XML lesen

Hadoop Konfigurationsobjekt XML lesen

2017-06-27 4 views
1

Ich habe eine XML-Datei, die einige Namen und Werte enthält, aus denen ich in meiner Spark-Anwendung lesen möchte. Wie verwende ich die Hadoop-Konfiguration, um diese Werte einzulesen und sie in meinem Code zu verwenden?Hadoop Konfigurationsobjekt XML lesen

Ich habe versucht, die XML-Datei zu HDFS hochladen, aber ich bin mir nicht sicher, was der Schlüssel sein soll, wenn ich conf.get() verwendet

Quelle

2017-06-27 hli

+0

Wie sieht die XML-Datei aus? –

+0

Ist es eine der Standard-XML-Konfigurationsdateien von hadoop oder ein zufälliges xml, das Sie in Ihrem Spark-Job lesen und verwenden möchten? Wenn es das letztere ist, sollten Sie wahrscheinlich 'scala.xml' verwenden, es ist nett und sauber – philantrovert

Antwort

1

Vielleicht vergessen Sie diese Zeilen Code umfassen:

val conf = new Configuration() 
conf.addResource(new Path(<path-to-file>))

Quelle

2017-06-27 02:05:55 unsulliedcow

Verwandte Themen

 Verwandte Themen