spark Typenkonflikt: kann nicht von JavaRDD konvertieren <Object> zu JavaRDD <String>

Question

Ich habe begonnen, meine Pyspark-Anwendung in Java-Implementierung zu schreiben. Ich benutze Java 8. Ich habe gerade begonnen, einige der grundlegenden Funke-Programme in Java auszuführen. Ich habe das folgende wordcount Beispiel verwendet.

SparkConf conf = new SparkConf().setMaster("local").setAppName("Work Count App"); 

// Create a Java version of the Spark Context from the configuration 
JavaSparkContext sc = new JavaSparkContext(conf); 

JavaRDD<String> lines = sc.textFile(filename); 

JavaPairRDD<String, Integer> counts = lines.flatMap(line -> Arrays.asList(line.split(" "))) 
        .mapToPair(word -> new Tuple2(word, 1)) 
        .reduceByKey((x, y) -> (Integer) x + (Integer) y) 
        .sortByKey(); 

Ich erhalte Type mismatch: cannot convert from JavaRDD<Object> to JavaRDD<String> Fehler in lines.flatMap(line -> Arrays.asList(line.split(" "))) Wenn ich gegoogelt, in dem alle Java 8 basierend Funken Beispiel sah ich die gleiche oben implementation.What in meinem environemnt oder das Programm falsch gelaufen ist.

Kann mir jemand helfen?

Answer 1

Verwenden Sie diesen Code. Tatsächliches Problem ist, dass die Funktion rdd.flatMap Iterator<String> erwartet, während Ihr Code List<String> erstellt. Durch Aufrufen des Iterators() wird das Problem behoben.

JavaPairRDD<String, Integer> counts = lines.flatMap(line -> Arrays.asList(line.split(" ")).iterator()) 
      .mapToPair(word -> new Tuple2<String, Integer>(word, 1)) 
      .reduceByKey((x, y) -> x + y) 
      .sortByKey(); 

counts.foreach(data -> { 
     System.out.println(data._1()+"-"+data._2()); 
    }); 

Answer 2

versuchen diesen Code

JavaRDD<String> words = 
    lines.flatMap(line -> Arrays.asList(line.split(" "))); 
JavaPairRDD<String, Integer> counts = 
    words.mapToPair(w -> new Tuple2<String, Integer>(w, 1)) 
     .reduceByKey((x, y) -> x + y); 

Answer 3

JavaRDD<String> obj = jsc.textFile("<Text File Path>"); 
JavaRDD<String> obj1 = obj.flatMap(l->{ 
ArrayList<String> al = new ArrayList(); 
String[] str = l.split(" "); 
for(int i=0;i<str/length;i++) { 
    al.add(str[i]); 
} 
return al.iterator(); 
});