Ich habe einen DStream, der Typ [String, ArrayList [String]] ist, und ich möchte diese DStream in AVRO-Format konvertieren und diese in hdfs speichern. Wie kann ich das erreichen?Wie konvertiert man ein DStream in avro Form und speichert die Datei in hdfs
Sie können Ihren Stream in JavaRDD konvertieren oder in DataFrame konvertieren und in eine Datei schreiben und das Format als Avro bereitstellen.
// Apply a schema to an RDD
DataFrame booksDF = sqlContext.createDataFrame(books, Books.class);
booksDF.write()
.format("com.databricks.spark.avro")
.save("/output");
Bitte besuchen Sie Accessing Avro Data Files From Spark SQL für weitere Beispiele.
In der Hoffnung, dies hilft.
DataFrame booksDF = sqlContext.createDataFrame (Bücher, Books.class); Hier wird nullpointerException angezeigt, im Feld für Klasse habe ich dstream.getClass() bereitgestellt, und jetzt habe ich meinen dstream und Type [GenericData.Record] konvertiert, so dass es hilfreich wäre, wenn Sie in diesem Kontext antworten könnten – JSR29