Sie würden in der Regel einen Spark-Worker auf jedem Cassandra-Knoten bereitstellen, um die Datenlokalität zu bevorzugen (der Funke-Worker wird seinen lokalen Knoten in der Priorität erreichen, wenn möglich). Wenn Sie jedoch wirklich den Funken Service vom cassandra Service entkoppeln wollen, müssen Sie ein paar Optionen:
- DSE Fragen direkt an den Support, wenn Sie ein Abonnement natürlich haben.
- Stellen Sie einen neuen spark-worker auf einem neuen Knoten bereit und konfigurieren Sie ihn für die Verbindung mit Ihrem vorhandenen Spark-Master. Im Wesentlichen starten Sie spark-slave.sh. Wenn richtig gemacht, sollte dies funktionieren. Es wird einige Integrationsprobleme mit DSE geben, natürlich müssen Sie versuchen, es zu sehen. Sie müssen Ihre Firewall-Regeln, DNS-Auflösung usw. verwalten ... und natürlich müssen Sie die Anzahl der CPU und RAM manuell konfigurieren, um diesen neuen Knoten zuzuweisen.
- Apache-Funke vollständig von DSE entkoppeln => nur Cassandra-DSE verwenden und Apache Spark auf jedem Ihrer 3 Cassandra-Knoten + einen zusätzlichen Knoten installieren. Das würde mit Sicherheit funktionieren, aber es gibt einige Arbeiten, einschließlich der Konfiguration des Spark-Masters und der Behandlung von HA, wenn dies erforderlich ist, indem die RAM-Zuweisung zwischen DSE und Apache Spark korrekt aufgeteilt wird. Es gibt Hüften von Cassandra Beratungsunternehmen, die Ihnen bei Bedarf helfen können, Instaclustr ist nur einer von ihnen.
Viel Glück!
Danke, sehr informativ. – qubit