Ich bin noob in Spark, versucht, die Daten aus einer Steckdose in Spark 1.6.0 zu lesen.Wie benutze ich readStream in Spark 1.6?
Es folgt mein Code zu tun ist -
val sqc = new org.apache.spark.sql.SQLContext(sc)
val socketop = sqc.readStream.format("socket").option("myhost","localhost").option("port",1111).load
Ich aber nehme Fehler wie unten gezeigt -
Readstream ist kein Mitglied in org.apache.spark.sql.SQLContext ist
Was mache ich falsch?
readStream.format("socket")
Es wird nicht in Spark-1.6.0 arbeiten als Spark-Structured Streaming, dass dieser Code Teil von ist nur ab Spark 2.0 verfügbar.
Zitiert Input Sources:
Spark 2.0, gibt es ein paar eingebauten Tonquellen.
Socket-Quelle (zum Testen) - Liest UTF8-Textdaten von einer Socket-Verbindung. Der Listener-Server-Socket ist beim Treiber. Beachten Sie, dass dies nur zum Testen verwendet werden sollte, da dies keine End-to-End-Fehlertoleranzgarantien bietet.
Um „die Daten aus einer Steckdose in Spark-1.6.0“ Sie Spark Streaming (was ich persönlich halte tot und empfehlen es nicht, wenn Sie müssen) verwenden müssen, um zu lesen.
diese finden es wird mit Funken 1.6, kann es Ihnen helfen, https://spark.apache.org/docs/1.6.0/streaming-programming-guide.html#a-quick-example
Vielen Dank, aber ich werde auf spark 2 upgraden – nitinr708
Danke Jacek, Kannst du bitte teilen, was Sie dazu gebracht hat, Spark Streaming tot zu betrachten? Gibt es eine bessere Alternative, die Sie lieber verwenden würden? Ich möchte es wissen! – nitinr708
_ "Eine bessere Alternative" _ fragen Sie? Das ... ist ... ** Spark 2.2 ** mit ** strukturiertem Streaming **. Das ist die Zukunft und auf die sich alle Entwicklungen konzentrieren. Upgrade auf 2.2 (seit 1.6 ist auch tot, vor allem 1.6.0). Spark Streaming ist nicht als solches angekündigt, aber Sie können die neuesten Antworten von den führenden Entwicklern (Michael und TD) lesen und Sie werden es wissen. –