Gibt es eine offizielle Dokumentation für Spark Data Source API? Ich konnte nur Beispiel-/Beispielimplementierungsinformationen von DataBricks-Tutorials finden.Wo finde ich die Dokumentation zur Spark Data Source API?
So gibt es keine offizielle Dokumentation, wie Sie Ihre eigene benutzerdefinierte Datenquelle mit Funken erstellen, da es in Spark Entwickler API ist. Dennoch haben wir einige gute Blogs, die Sie überprüfen können, ob sie hilfreich sein könnten. Ich erwähne einige Blogs hier
http://sparkdatasourceapi.blogspot.nl/2016/10/spark-data-source-api-write-custom.html
https://michalsenkyr.github.io/2017/02/spark-sql_datasource
Es gibt einige Beispiel-Codes sind hier auch pls überprüfen unten
https://github.com/VishvendraRana/spark-custom-datasource
Und wenn Sie welche realen Projekt überprüfen wollen mit funken datenquelle api überprüfen apache carbondata
Die offizielle API befindet sich auf der Website von spark/apache. http://spark.apache.org/docs/latest/api/java/index.html
Danke für Ihre Antwort. Ich bin auf der Suche nach einem Dokument, das erklärt, welche Schnittstellen und Klassen implementiert werden müssen, um eine neue DataSource zu erstellen, die an Spark angeschlossen und über Spark SQL verwendet werden kann. – ravikiran
Was genau fordern Sie? Welcher Teil der DataSource-API von Spark ist nicht klar genug und würde um ausführlichere Erklärungen bitten? –