Best-Verfahren Inmutable Funken RDDs

Question

in der Vergangenheit zu ändern, ich mit niedrigem Niveau Parallelisierung gearbeitet (openmpi, openmp, ...)

ich zur Zeit in einem Spark-Projekt arbeiten bin und ich weiß nicht, das beste Verfahren mit RDDs zu arbeiten, weil sie unveränderbar sind.

Ich werde mein Problem mit einem einfachen Beispiel erklären, stellen Sie sich vor, dass ich in meiner RDD ein Objekt habe und ich ein Attribut aktualisieren muss.

Die praktischste und speichereffizienteste Lösung ist die Implementierung einer Methode namens setAttribute (new_value).

Funken RDDs sind inmutable, so brauche ich eine Funktion (zB myModifiedCopy (new_value)), die eine Kopie dieses Objekts zurück, aber mit dem new_value in seiner Eigenschaft und die Aktualisierung des RDD wie diese zu erstellen:

myRDD = myRDD.map(x->x.myModifiedCopy(new_value)).cache() 

Meine Objekte sind sehr komplex und sie verwenden viel RAM-Speicher (sie sind wirklich riesig). Dieser Vorgang ist langsam, Sie müssen eine vollständige Kopie aller Elemente der RDD erstellen, um nur einen kleinen Wert zu ändern.

Gibt es ein besseres Verfahren, um mit dieser Art von Problemen umzugehen?

Empfehlen Sie eine andere Technologie?

Ich würde für eine veränderbare RDD töten.

Vielen Dank im Voraus.

Answer 1

Ich glaube, Sie haben einige Missverständnisse von Apache Spark. Wenn Sie eine Transformation durchführen, erstellen Sie tatsächlich keine ganze Kopie dieser im Speicher. Sie entwerfen lediglich die Serie winziger Konvertierungen, die in jedem Datensatz ausgeführt werden sollen, wenn Sie eine Aktion ausführen. Zum Beispiel map, filter und flatMap sind völlig Transformationen, also faul, also, wenn Sie sie ausführen, Sie nur den Plan entwerfen, aber nicht ausführen. Auf der anderen Seite, collect oder count verhalten sich anders sie Trigger alle vorherigen Transformationen (alles tun, was in der Zwischenstufe Stufen definiert wurde), bis sie das Ergebnis erhalten.