Unerwartetes Verhalten innerhalb des foreachPartition Methode einer RDD

Question

ich durch die Funken Shell den folgenden Zeilen von scala Codes ausgewertet:

val a = sc.parallelize(Array(1,2,3,4,5,6,7,8,9,10)) 
val b = a.coalesce(1) 
b.foreachPartition { p => 
    p.map(_ + 1).foreach(println) 
    p.map(_ * 2).foreach(println) 
} 

Der Ausgang ist die folgende:

2 
3 
4 
5 
6 
7 
8 
9 
10 
11 

Warum die Partition p wird nach der ersten Karte leer?

Answer 1

Es ist nicht seltsam aussehen mir da p ist Iterator, wenn Sie durch sie mit Karte gehen, es keine Werte mehr hat, und unter Berücksichtigung, dass Länge Abkürzung für Größe ist, die ist wie dies umgesetzt:

def size: Int = { 
    var result = 0 
    for (x <- self) result += 1 
    result 
} 

Sie 0.

Answer 2

die Antwort ist in der scala doc http://www.scala-lang.org/api/2.11.8/#scala.collection.Iterator bekommen. Es gibt explizit an, dass ein Iterator (p ist ein Iterator) verworfen werden muss, nachdem er die map-Methode aufgerufen hat.