Wie konvertiert man RDD [Double] in Vector in Scala Spark

Question

Ich habe eine IndexedRowMatrix von doubles. Ich möchte die Summe jeder Zeile der Matrix berechnen und die Ergebnisse in einem Vektor speichern. Danach möchte ich diesen Vektor übertragen. Ich erstelle eine RDD von Double, die die Summen enthält, aber ich kann es nicht in einen Vektor verwandeln. Also, die Frage ist im Grunde, wie Sie den Vektor, den ich will, aus der IndexedRowMatrix erstellen.

Answer 1

dem Fahrer sammeln und ein Vektorkonstrukt:

import org.apache.spark.mllib.linalg.{Vector, Vectors} 

val sc: SparkContext = ??? 
val rdd: RDD[Double] = ??? 
val vec: Vector = Vectors.dense(rdd.collect) 
val broadcastVec = sc.broadcast(vec) 

Referenzen:

https://spark.apache.org/docs/2.1.0/mllib-data-types.html#local-vector https://spark.apache.org/docs/latest/programming-guide.html#broadcast-variables