Funken RDD Persistenz und Partitionen

Question

Wenn eine bestimmte RDD in Funken zum Beispiel erstellt:

lines = sc.textFile("README.md") 

Und dann wird eine Transformation auf dieser RDD genannt:

pythonLines = lines.filter(lambda line: "Python" in line) 

Wenn Sie eine Aktion auf diesem Aufruf transformierte Filter RDD (wie pythonlines.first) was bedeutet es, wenn sie an RDD will be recomputed ones again each time you run an action on them sagen? Ich dachte, dass die ursprüngliche RDD, die Sie mit der textFile-Methode erstellt haben, nicht beibehalten wird, nachdem Sie die filter-Umwandlung auf dieser ursprünglichen RDD aufgerufen haben. Also wird es nur die neueste transformierte RDD neu berechnen, wobei es in diesem Fall die RDD ist, die ich mit der Filtertransformation gemacht habe? Ich sehe nicht wirklich, warum das nötig wäre, wenn meine Annahme richtig ist.

Answer 1

Im Funke werden RDDs träge ausgewertet. Dies bedeutet, wenn Sie einfach schreiben

Ihr Programm wird beendet, ohne die Datei zu lesen, da Sie das Ergebnis nie verwendet haben. Wenn Sie schreiben, so etwas wie:

linesLength = sc.textFile("README.md").map(line => line.split(" ").length) 
sumLinesLength = linesLength.reduce(_ + _) // <-- scala way 
maxLineLength = linesLength.max() 

Die benötigten Berechnungen lineLength haben zweimal gemacht werden, da Sie es an zwei verschiedenen Stellen wiederverwenden. Um zu vermeiden, dass, sollten Sie Ihre resultierende RDD bestehen, bevor es auf zwei verschiedene Arten

linesLength = sc.textFile("README.md").map(line => line.split(" ").length) 
linesLength.persist() 
// ... 

Sie können auch einen Blick auf https://spark.apache.org/docs/latest/programming-guide.html#rdd-persistence verwenden. Hoffe meine Erklärung ist nicht zu verwirrt!