Konvertieren Sie einen Spark Vector von Features in ein Array

Question

Ich habe eine Feature-Spalte, die in einem Vektor von Vektoren mit Spark VectorAssembler Spark verpackt ist, wie folgt. data ist der Input-Datenrahmen (vom Typ spark.sql.DataFrame).

val featureCols = Array("feature_1","feature_2","feature_3") 
val featureAssembler = new VectorAssembler().setInputCols(featureCols).setOutputCol("features") 
val dataWithFeatures = featureAssembler.transform(data) 

Ich entwickle einen benutzerdefinierten Classifier des Classifier und ClassificationModel Entwickler-API. ClassificationModel erfordert die Entwicklung einer -Funktion, die einen Vektor vorhergesagter Etiketten aus dem Modell ausgibt.

def predictRaw(features: FeaturesType) : Vector 

Diese Funktion wird durch die API-Satz und einen Parameter, Eigenschaften von FeaturesType und gibt einen Vektor (die in meinem Fall I ein Funke DenseVector als DenseVector verlängert den Vector trait sein nehmen).

Aufgrund der Verpackung durch VectorAssembler ist die Spalte features vom Typ Vector und jedes Element ist selbst ein Vektor der ursprünglichen Merkmale für jedes Trainingsbeispiel. Zum Beispiel:

verfügt Spalte - vom Typ Vector
[1,0, 2,0, 3,0] - element1, selbst ein Vektor
[3.5, 4.5, 5.5] - element2, selbst ein Vektor

Ich muß Extrahieren Sie diese Features in eine Array[Double], um meine Logik predictRaw() zu implementieren. Idealerweise würde ich folgendes Ergebnis mag, um die Kardinalität zu erhalten:

`val result: Array[Double] = Array(1.0, 3.5, 2.0, 4.5, 3.0, 4.5)` 

das heißt in Spaltenhauptordnung wie ich diese in eine Matrix verwandeln.

Ich habe versucht:

val array = features.toArray // this gives an array of vectors and doesn't work 

ich auch zur Eingabe der Funktionen als Dataframe-Objekt versucht haben, eher als ein Vektor aber die API eine Vektor erwartet, aufgrund der Verpackung der Merkmale von VectorAssembler . Zum Beispiel arbeitet diese Funktion von Natur aus, sondern auf die API nicht konform ist, wie es FeaturesType ist erwartet Vektor zu sein, wie zu Datenrahmen gegen:

def predictRaw(features: DataFrame) :DenseVector = { 
    val featuresArray: Array[Double] = features.rdd.map(r => r.getAs[Vector](0).toArray).collect 
//rest of logic would go here 
} 

Mein Problem ist, dass features vom Typ Vector, nicht DataFrame. Die andere Möglichkeit könnte sein, das Paket features als DataFrame zu verpacken, aber ich weiß nicht, wie das geht, ohne VectorAssembler zu verwenden.

Alle Vorschläge geschätzt, danke! Ich habe mir Access element of a vector in a Spark DataFrame (Logistic Regression probability vector) angesehen, aber das ist in Python und ich benutze Scala. Dadurch erhalten Sie eine neue Spalte

import org.apache.spark.ml.linalg.DenseVector 
val toArr: Any => Array[Double] = _.asInstanceOf[DenseVector].toArray 
val toArrUdf = udf(toArr) 
val dataWithFeaturesArr = dataWithFeatures.withColumn("features_arr",toArrUdf('features)) 

:

Answer 1

Wenn Sie nur DenseVector in Array [Double] das ist ziemlich einfach mit der UDF konvertieren

|-- features_arr: array (nullable = true) 
| |-- element: double (containsNull = false) 

Answer 2

Hier ist ein Weg, (ohne udf) um einen Datagram (String, Array) aus einem Dataframe (String, Vector) zu erhalten.Hauptidee ist, eine Zwischen RDD zu verwenden als Vektor zu werfen, und verwenden Sie seine toArray Methode:

val arrayDF = vectorDF.rdd 
    .map(x => x.getAs[String](0) -> x.getAs[Vector](1).toArray) 
    .toDF("word","array")