Konvertieren von RDD [org.apache.spark.sql.Row] zu RDD [org.apache.spark.mllib.linalg.Vector]

Question

Ich bin relativ neu in Spark und Scala.

beginne ich mit der folgenden Datenrahmen (einzelne Spalte aus einer dichten Vektor von Doubles hergestellt):

scala> val scaledDataOnly_pruned = scaledDataOnly.select("features") 
scaledDataOnly_pruned: org.apache.spark.sql.DataFrame = [features: vector] 

scala> scaledDataOnly_pruned.show(5) 
+--------------------+ 
|   features| 
+--------------------+ 
|[-0.0948337274182...| 
|[-0.0948337274182...| 
|[-0.0948337274182...| 
|[-0.0948337274182...| 
|[-0.0948337274182...| 
+--------------------+ 

Eine gerade Umwandlung zu RDD eine Instanz von org.apache.spark.rdd.RDD ergibt [ org.apache.spark.sql.Row]:

scala> val scaledDataOnly_rdd = scaledDataOnly_pruned.rdd 
scaledDataOnly_rdd: org.apache.spark.rdd.RDD[org.apache.spark.sql.Row] = MapPartitionsRDD[32] at rdd at <console>:66 

Wer weiß, wie zu einer Instanz von org.apache.spark.rdd.RDD [org.apache.spark.mllib.linalg dieses DF zu konvertieren. Vektor] stattdessen? Meine verschiedenen Versuche waren bisher erfolglos.

Vielen Dank im Voraus für alle Hinweise!

Answer 1

gerade herausgefunden:

val scaledDataOnly_rdd = scaledDataOnly_pruned.map{x:Row => x.getAs[Vector](0)} 

Answer 2

EDIT: anspruchsvollere Art und Weise verwenden, um Felder in Reihe zu interpretieren.

Dies ist für mich gearbeitet

val featureVectors = features.map(row => { 
    Vectors.dense(row.toSeq.toArray.map({ 
    case s: String => s.toDouble 
    case l: Long => l.toDouble 
    case _ => 0.0 
    })) 
}) 

Funktionen ist ein Datenrahmen von Funken SQL.

Answer 3

import org.apache.spark.mllib.linalg.Vectors 

scaledDataOnly 
    .rdd 
    .map{ 
     row => Vectors.dense(row.getAs[Seq[Double]]("features").toArray) 
    }