EMRSpark erorr: Wert Couchbase ist kein Mitglied von org.apache.spark.sql.DataFrameReader

Question

Ich habe versucht, mein Couchbase Server EMR Spark-1.4.1, zu verbinden, während die

angetroffen

val airlines = sqlContext.read.couchbase(schemaFilter = org.apache.spark.sql.sources.EqualTo("type", "airline")) 

<console>:24: error: value couchbase is not a member of org.apache.spark.sql.DataFrameReader 

sind alle, Befehle erfolgreich vor diesem Fehler Befehl ausgeführt:

1. funken shell --packages com.couchbase.client: spark-connector_2.10. 1.0.0

2. import org.apache.spark {SparkContext, SparkC ONF}

3. val sc = new SparkContext (new SparkConf(). setAppName ("Test"). Set ("com.couchbase.bucket.travel-Probe", ""))
4. val CFG = new SparkConf() .setAppName ("keyValueExample"). setMaster ("local [*]"). set ("com.couchbase.bucket.travel-Beispiel", "")
5. import org.apache.spark.sql.SQLContext
6. val sql = new SqlContext (sc)
7. Import com.couchbase.spark._

muss ich etwas mehr konfigurieren? Da ich AWS EMR verwende, habe ich angenommen, dass ich die .sbt-Datei nicht ändern muss? Ich glaube, ich habe das Paket bereits entweder beim Angeben der Verbindung zu Spark-Shell oder in Zeile (Befehl) 7 importiert?

Answer 1

Dokumentation sagt, dass Sie Folgendes importieren:

scala> import com.couchbase.spark._ 
import com.couchbase.spark._ 

scala> import com.couchbase.spark.sql._ 
import com.couchbase.spark.sql._ 

Voll doc finden Sie hier: http://developer.couchbase.com/documentation/server/current/connectors/spark-1.0/spark-shell.html