Wohin fließt Spark Streaming?

Question

Wie ich verstehe, kann Spark Streams mit Spark Streaming analysieren. Und Kafka kann Daten von mehreren Quellen empfangen. Was ich nicht verstehe, ist, wenn ich einen Kafka-Cluster habe, der Daten von mehreren Quellen empfängt, werden die Daten an eine Datenbank gesendet, auf der Spark Streaming läuft? Oder wird Spark Streaming auf einem Anwendungsserver ausgeführt?

Answer 1

Wenn Sie Spark Streaming verwenden, müssen Sie einen Spark-Cluster einrichten, und Sie senden den Spark-Streaming-Job an den Cluster. Also müssen Sie 2 Cluster: Kafka + Spark (oder eigentlich 3, da Sie auch einen Zookeeper-Cluster für Kafka benötigen).