Speichern Sie javaRDD als XML-Datei

Question

Gibt es in Apache Spark eine Möglichkeit, eine Java-RDD von Text als XML-Datei zu speichern?

Was ich derzeit mache, ist das Speichern der RDD als eine einfache Textdatei mit saveAsTextFile Methode und dann konvertieren Sie es in XML. Ich bin daran interessiert, eine Möglichkeit zu finden, die XML-Datei direkt von RDD zu erstellen.

Jeder Tipp, Idee oder Anleitung wird geschätzt.

Answer 1

Sie können Databricks XML-Bibliothek beziehen, um Daten von/nach XML zu lesen und zu schreiben. Inherring Schema von Daten:

import org.apache.spark.sql.SQLContext 

SQLContext sqlContext = new SQLContext(sc); 
DataFrame df = sqlContext.read() 
    .format("com.databricks.spark.xml") 
    .option("rowTag", "book") 
    .load("books.xml"); 

df.select("author", "_id").write() 
    .format("com.databricks.spark.xml") 
    .option("rootTag", "books") 
    .option("rowTag", "book") 
    .save("newbooks.xml");