Wert collectAsMap ist kein Mitglied von org.apache.spark.rdd.RDD

Question

Ich versuche collectAsMap() in der folgenden Aussage zu verwenden:

import org.apache.spark.SparkConf 
import org.apache.spark.SparkContext 
import org.apache.spark.broadcast.Broadcast 
import org.apache.spark.rdd.RDD 
... 
documents_input. 
    filter(_ != documents_header). 
    map(_.split(",")). 
    map(Document.parse(_)). 
    keyBy((_.id)).collectAsMap() 

Jedoch habe ich die folgende Störung erhalte:

value collectAsMap is not a member of org.apache.spark.rdd.RDD[(Int, `com.codependent.MyApp.Document)]` 

Irgendeine Idee warum oder wie ich das Array in eine Karte verwandeln könnte?

Answer 1

Feste nach den Einfuhren als Ram Ghadiyaram Aktualisierung vorgeschlagen:

import org.apache.spark.SparkConf 
import org.apache.spark.SparkContext 
import org.apache.spark.SparkContext._ 
import org.apache.spark.broadcast.Broadcast 
import org.apache.spark.rdd.RDD 

Answer 2

Es hängt davon ab, wie Sie die documents_input lesen. Wenn Sie es mit sparkContext lesen, sollten Sie collectAsMap verwenden können. Aber wenn Sie das documents_input als Source oder irgendein anderes scala api gelesen haben, dann collectAsMap nicht den Trick tun. In diesem Fall können Sie toMap