So laden Sie Daten aus Cassandra Tabelle

Question

Ich arbeite an Spark-Version: 2.0.1 und Cassandra 3.9. Ich möchte Daten aus einer Tabelle in Cassandra von CassandraSQLContext lesen. Allerdings wurde Spark 2.0 geändert und sparkSession verwendet. Ich versuche, sparkSession zu verwenden, und ich bin glücklich, das folgende ist mein Code.

Könnten Sie bitte überprüfen und geben Sie Ihren Rat?

def main(args: Array[String], date_filter: String): Unit = { 
    val conf = new SparkConf(true).set("spark.cassandra.connection.host", "localhost") 
    val sc = new SparkContext(conf) 
    val sparkSession = SparkSession.builder 
     .master("local") 
     .appName("my-spark-app") 
     .config(conf) 
     .getOrCreate() 
     import sparkSession.implicits._ 
     import org.apache.spark.sql._ 
    val rdd = sparkSession 
     .read 
     .format("org.apache.spark.sql.cassandra") 
     .options(Map("table" -> "users", "keyspace" -> "monita")) 
     .load() 
     println("count: " +rdd.count()) 

    } 

Answer 1

Ihr Code sieht gut aus. Sie müssen SC nicht erstellen. Sie können die Cassandra-Verbindungseigenschaften in der Config wie folgt einstellen.

val sparkSession = SparkSession 
    .builder 
    .master("local") 
    .appName("my-spark-app") 
    .config("spark.cassandra.connection.host", "127.0.0.1") 
    .config("spark.cassandra.connection.port", "9042") 
    .getOrCreate()