Fehler, wenn ein Streaming

Question

Schaffung öffne ich die Funken Shell

spark-shell --packages org.apache.spark:spark-streaming-kafka_2.10:1.6.0 

Dann habe ich einen Streaming-Kontext

import org.apache.spark._ 
import org.apache.spark.streaming._ 


val conf = new SparkConf().setMaster("local[2]").setAppName("NetworkWordCount").set("spark.driver.allowMultipleContexts", "true") 
val ssc = new StreamingContext(conf, Seconds(1)) 

Ich laufe in eine Ausnahme erstellen möchten:

org.apache.spark.SparkException: Only one SparkContext may be running in this JVM (see SPARK-2243). To ignore this error, set spark.driver.allowMultipleContexts = true. The currently running SparkContext was created at: 

Answer 1

Wenn Sie Öffnen Sie die Spark-Shell, dort ist bereits ein Streaming-Kontext erstellt. Es heißt sc, was bedeutet, dass Sie kein Konfigurationsobjekt erstellen müssen. Verwenden Sie einfach das vorhandene sc-Objekt.

val ssc = new StreamingContext(sc,Seconds(1)) 

statt var verwenden wir val