Was ist die Implementierung von Spark Sparsamkeits-Server

Question

Wie übersetzt der Spark Thrift-Server Standard-SQL zu zugrunde liegenden Nosql-Datenbanken wie Cassandra? ist der Datenrahmen beteiligt?

ist der Sparset-Server-Code Teil des Open-Source-Code?

Answer 1

Wie funktioniert der Spark-Thrift Server Standard-SQL übersetzen NoSQL-Datenbanken wie Cassandra zu Grunde liegenden? ist der Datenrahmen beteiligt?

Spark Spark-Server ist einfach eine andere Spark-Anwendung. Es hat Hauptmethode und läuft wie üblich Spark-Anwendung. Überprüfen Sie https://github.com/apache/spark/blob/master/sql/hive-thriftserver/src/main/scala/org/apache/spark/sql/hive/thriftserver/HiveThriftServer2.scala#L69 Es funktioniert mit NoSQL/SQL/mit Spark SQL, einschließlich DataFrames. Im Gespräch über Cassandra Interoperabilität es in DataStax Cassandra Anschluss implementiert ist, können Sie Code hier überprüfen: https://github.com/datastax/spark-cassandra-connector/tree/master/spark-cassandra-connector/src/main/scala/org/apache/spark/sql/cassandra

ist der thrift Servercode Teil des Open-Source-Code?

Ja, es ist ein Teil von Apache Haupt-Repository Funken: https://github.com/apache/spark/tree/master/sql/hive-thriftserver