2016-04-26 13 views
-1

So führen Sie das Streaming von Twitter-Daten über Apache Spark Streaming aus?So führen Sie Streaming von Twitter-Daten über Apache Spark Streaming aus?

Zuvor hatte ich die Twitter-Daten über den Kanal abgerufen und in HDFS gespeichert, wo ich die Twitter-Anmeldedaten in der Datei conf.txt konfiguriert habe.

Aber jetzt stecken geblieben im Abrufen von Twitter-Daten über Apache Spark Streaming.

Problem ist Twitter-Anmeldeinformationen bei der Platzierung .. Bitte helfen Sie mir ..

+0

schaffen, was Sie bisher getan haben und welche Art von Fehler erhalten Sie? – maasg

+0

Hier ist mein Code: –

+0

if (args.length <5) \t { \t Zeichenfolge consumerKey = args [0]; \t Zeichenfolge consumerSecret = args [1]; \t String accessToken = args [2]; \t String accessTokenSecret = args [3]; –

Antwort

0

Warum Sie sc.setLocalProperties nicht verwenden()? ein

val ssc = new StreamingContext("local[10]", "test", Duration(3000)) 
val sc = ssc.sparkContext 

und

sc.setLocalProperties() 
+0

Wie twitter Daten zur elastischen Suche streamen? Code in Java PLZ. –