Parse XML-Daten in Apache Spark

Question

Ich muss wissen, wie Sie XML-Datei in Spark analysieren. Ich empfange Streaming-Daten von Kafka und muss dann diese gestreamten Daten analysieren.

Hier ist meine Spark-Codedaten zu erhalten:

directKafkaStream.foreachRDD(rdd ->{ 
      rdd.foreach(s ->{ 
       System.out.println("&&&&&&&&&&&&&&&&&" +s._2); 
      }); 

und Ergebnisse:

<root> 
<student> 
<name>john</name> 
<marks>90</marks> 
</student> 
</root> 

Wie diese XML-Elemente zu übergeben?

Answer 1

Danke Jungs .. Problem gelöst. Hier ist die Lösung.

String xml = "<name>xyz</name>"; 
DOMParser parser = new DOMParser(); 
try { 
    parser.parse(new InputSource(new java.io.StringReader(xml))); 
    Document doc = parser.getDocument(); 
    String message = doc.getDocumentElement().getTextContent(); 
    System.out.println(message); 
} catch (Exception e) { 
    // handle SAXException 
} 

Answer 2

Bei der Verarbeitung von Streaming-Daten wäre es hilfreich, die spark-xml-Libelle von Databricks für die XML-Datenverarbeitung zu verwenden.

Referenz: https://github.com/databricks/spark-xml