Besetzungsliste <Row> zur Liste <T> in java

Question

Ich bin Werte von cassandra Tabelle Kommissionierung und sie in Datensatzes wie folgt zu speichern:

Dataset query =spark.sql("select url,sourceip,destinationip from traffic_data"); 
List<Row> = query.collectAsList(); 

jetzt habe ich eine POJO Klasse group Variablen als url, SourceIP und destionationip haben.

Is it possible to cast this List<Row> to List<GroupClass>? 

Answer 1

Technisch können Sie, aber dies eine ClassCastException zur Laufzeit werfen.

Die beste Vorgehensweise in diesem Fall ist die Verwendung eines Copy Constructor.

Answer 2

Ich komme aus Scala, aber ich glaube, dass es einen ähnlichen Weg in Java gibt.

Eine mögliche Lösung whould sein, die folgenden:

val query =spark.sql("select url,sourceip,destinationip from traffic_data").as[GroupClass] 

Nun ist die Abfrage Wert hat den Typ Dataset[GroupClass], so ruft collectAsList() Methode Retruns eine Liste [group]

val list = query.collectAsList(); 

Eine andere Lösung (ich glaube, Sie müssen streams verwenden, um die gleiche Sache in Java zu tun) ist zu map jeder von Liste in einem GroupClass wie folgt:

val query =spark.sql("select url,sourceip,destinationip from traffic_data") 
val list = query.collectAsList(); 
val mappedList = list.map { 
    case Row(url: String,sourceip: String,destinationip: String) => 
    GroupClass(url, sourceip, destinationip) 
} 

ich der Auffassung, dass alle Attribute (url, SourceIP, destinationip) einen String

Sie die GroupedClass zu schaffen haben:

GroupClass(url: String,sourceip: String,destinationip: String) 

Hoffe, dass es

hilft

Answer 3

sollten Sie verwenden Encoder für diese

Dataset schools = context 
.read() 
.json("/schools.json") 
.as(Encoders.bean(University.class)); 

weitere Informationen finden Sie hier https://databricks.com/blog/2016/01/04/introducing-apache-spark-datasets.html oder hier https://jaceklaskowski.gitbooks.io/mastering-apache-spark/content/spark-sql-Encoder.html