Verschiedenes Ergebnis in derselben Scala und Java Funken Funktionen

Question

I einfachen Code ausgeführt in Java Spark Quickstart Guide geschrieben:

public static void main(String[] args) { 
     SparkConf conf = new SparkConf().setAppName("Simple Application").setMaster("local[4]"); 
     JavaSparkContext sc = new JavaSparkContext(conf); 
     Accumulator<Integer> counter = sc.accumulator(0); 
     List<Integer> data = Arrays.asList(1, 2, 3, 4, 5); 
     JavaRDD<Integer> rdd = sc.parallelize(data); 
     rdd.foreach(counter::add); 
     System.out.println("Counter value " + counter); 
} 

Er druckt "Counter value 15" wie erwartet. Ich habe Code mit derselben Logik in Scala geschrieben:

object Counter extends App { 
    val conf = new SparkConf().setAppName("Simple Application").setMaster("local[4]") 
    val sc = new SparkContext(conf) 
    val counter = sc.accumulator(0) 
    val data = Array(1, 2, 3, 4, 5) 
    val rdd = sc.parallelize(data) 
    rdd.foreach(x => counter += x) 
    println(s"Counter value: $counter") 
} 

Aber es jedes Mal druckt falsches Ergebnis (< 15). Was ist falsch in meinem Scala-Code?

Java spark lib "org.apache.spark:spark-core_2.10:1.6.1" 
Scala spark lib "org.apache.spark" %% "spark-core" % "1.6.1" 

Answer 1

Eine Beratung in der quick-start Dokumentation sagt:

Hinweis, die Anwendungen sollte eine Methode main() anstelle von erstreckenden scala.App definieren. Unterklassen von scala.App funktionieren möglicherweise nicht richtig.

Vielleicht ist das das Problem?

Versuchen mit:

object Counter { 
    def main(args: Array[String]): Unit = { 
     val conf = new SparkConf().setAppName("Simple Application").setMaster("local[4]") 
     val sc = new SparkContext(conf) 
     val counter = sc.accumulator(0) 
     val data = Array(1, 2, 3, 4, 5) 
     val rdd = sc.parallelize(data) 
     rdd.foreach(x => counter += x) 
     println(s"Counter value: $counter") 
    } 
}