So starten Sie Spark ohne Cassandra in Datastax Enterprise

Question

Ich habe kürzlich DataStax Enterprise (v5.0) in meinem 5-Knoten-Cluster installiert. Ich plane, 3 Knoten als Funken und 2 Knoten als Cassandra Multi-Node-Cluster zu verwenden.

Nun, wenn ich versuche, Funken in meinem Funken Knoten zu starten -

ich folgende Fehlermeldung erhalten -

sudo dse Funken Exception in thread "main" java.io.IOException: Fehler beim Öffnen nativen Verbindung Cassandra bei 127.0.0.1 {}: 9042 bei com.datastax.spark.connector.cql.CassandraConnector $ $ .com DataStax $ $ spark Stecker $ $ cql CassandraConnector $$ create (CassandraConnector.scala: 160)

Warum suchen Funken nach Cassandra? Gibt es keine Möglichkeit, einen Funken ohne Cassandra in DSE zu starten?

auch die Dateien in DSE conf sollte ich ändern, so dass Funken eine Verbindung zu cassandra auf einem anderen Knoten ausgeführt wird (und nicht mit der lokal an 127.0.0.1:9042 läuft)

Answer 1

Sie können zur Zeit nicht (5.0) starten DSE Knoten ohne Kassandra. Aber nur weil du Cassandra starten musst, heißt das nicht, dass du es benutzen musst. Stellen Sie nur sicher, dass Sie immer die Netzwerktopologie-Strategie verwenden, und DSE verwendet C * nur auf diesen Computern für Klatsch- und Schemainformationen.

Auch für einen Hinweis dse spark startet nur die Funkenschale. Die Spark Master- und Worker-Infrastruktur wird nicht gestartet.