Generieren Sie Daten mit Apache Kafka und erhalten Sie mit Funken Streaming

Question

Ich möchte wissen, wie kann ich in dem gleichen Programm, um Zufallsdaten mit Apache Kafka generieren und erhalten Sie mit Spark-Streaming.

Lasst uns einen Anwendungsfall zeigen:

I Zufallsdaten wie diese erzeugen wollen -> (A, B, ab@hotmail.com), während X Sekunden. Und dann möchte ich diese Daten für die Verarbeitung in Echtzeit erhalten (während ich es empfange), und wenn der zweite Parameter B ist, senden Sie eine E-Mail an "ab@hotmail.com" mit der folgenden Nachricht: "Die erste Parameter ist A ".

Ich weiß, dass ich einen Zookeeper-Server starten muss, dann starten Sie einen Kafka-Broker, dann erstellen Sie ein Thema, und dann einen Produzenten für produzieren und senden Sie diese Daten. Um die Verbindung zwischen Kafka und Streaming herzustellen, muss ich die "createStream" -Funktion verwenden. Aber ich weiß nicht, wie man einen Produzenten benutzt, um diese Daten zu senden und sie dann mit Spark-Streaming zur Verarbeitung zu erhalten. All dies im selben Programm und mit Java.

Irgendwelche Hilfe? Vielen Dank.

Answer 1

Es wird kein einziges Programm geben, sondern ein Kafka-Produzentenprogramm und ein Spark-Programm. Für beide gibt es einige Beispiele online verfügbar, zB:

• https://github.com/apache/kafka/blob/trunk/examples/src/main/java/kafka/examples/Producer.java
• https://spark.apache.org/docs/latest/streaming-kafka-integration.html

dies ausführen zu können, Sie Kafka starten (einschließlich ZK) und Ihre Spark-Cluster. Danach starten Sie Ihr Producer-Programm, das in Kafka schreibt, und Ihren Spark-Job, der von Kafka liest (ich denke, die Reihenfolge, in der Producer und Spark gestartet werden, sollte keine Rolle spielen).