reduceByKey ist kein Mitglied

Question

Hallo Ich habe Code einfach erhalten Wortzählungen aus einem Dokument. Ich muss auch eine Karte verwenden, um den Datenwert nachzuschlagen, bevor die Ausgabe erzeugt wird. Hier ist der Code.

requests 
    .filter(_.description.exists(_.length > 0)) 
    .flatMap { case request => 
     broadcastDataMap.value.get(request.requestId).map { 
     data => 
      val text = Seq(
      data.name, 
      data.taxonym, 
      data.pluralTaxonym, 
      request.description.get 
     ).mkString(" ") 
      getWordCountsInDocument(text).map { case (word, count) => 
      (word, Map(request.requestId -> count)) 
      } 
     } 
    } 
    .reduceByKey(mergeMap) 

Die Fehlermeldung ist

reduceByKey is not a member of org.apache.spark.rdd.RDD[scala.collection.immutable.Map[String,scala.collection.immutable.Map[Int,Int]]] 

Wie kann ich dieses Problem lösen? Ich muss getWordCountsInDocument aufrufen. Vielen Dank!

Answer 1

reduceByKey ist ein Mitglied von PairRDDFunctions. Es wird implizit RDDs im Format RDD[(K, V)] hinzugefügt. Sie müssen wahrscheinlich die Struktur zu einem RDD[String, Map[Int,Int]] flachen.

Wenn Sie die Typen für Ihre Eingaben bereitstellen können (requests, broadcastDataMap und mergeMap), können wir möglicherweise einige Hilfe bei dieser Konvertierung bereitstellen.

Von den Typen zur Verfügung gestellt und der Annahme, dass der Rückgabetyp von getWordCountsInDocument einige Collection [(Wort, zählen: Int)]

ändern:

broadcastDataMap.value.get(request.requestId).map { 

zu

broadcastDataMap.value.get(request.requestId).flatMap { 

sollte das Problem beheben.