Wie Zufallsvektor in Spark generiert werden

Question

Ich möchte Zufallsvektoren mit Norm 1 in Spark generieren.

Da der Vektor sehr groß sein könnte, möchte ich es verteilt werden, Und da Daten in RDD keine Reihenfolge hat, möchte ich den Vektor in Form von RDD [(Int, Double)] speichern, weil ich auch müssen diesen Vektor verwenden, um eine Matrix-Vektor-Multiplikation durchzuführen.

Also, wie könnte ich diese Art von Vektor generieren?

Hier ist mein Plan für heute:

val v = normalRDD(sc, n, NUM_NODE) 
val mod = GetMod(v)  // Get the modularity of v 
val res = v.map(x => x/mod) 
val arr:Array[Double] = res.toArray() 

var tuples = new List[(Int, Double)]() 
for (i <- 0 to (arr.length - 1)) { 
    tuples = (i, arr(i)) :: tuples 
} 
// Get the entries and length of the vector. 
entries = sc.parallelize(tuples) 
length = arr.length 

Ich denke, es ist genug, um nicht elegant, weil es einem geht durch „verteilt -> einzelnen Knoten -> verteilt“ -Prozess.

Gibt es einen besseren Weg? Danke: D

Answer 1

try this:

import scala.util.Random 
import scala.math.sqrt 

val n = 5 // insert length of your array here 
val randomRDD = sc.parallelize(for (i <- 0 to n) yield (i, Random.nextDouble)) 
val norm = sqrt(randomRDD.map(x => x._2 * x._2).sum()) 
val finalRDD = randomRDD.mapValues(x => x/norm) 

Answer 2

Sie this Funktion können Sie einen Zufallsvektor erzeugen, dann können Sie es normalisieren, indem jedes Element auf dem sum() des Vektors dividiert oder durch einen normalizer verwenden.