Kafka Spark-Streaming-Integration

Question

Ich habe Kafka und Funken Streaming mit Maven in meinem System eingerichtet. Ich würde gerne irgendwelche Vorschläge kennen, die mir helfen könnten, größere Operationen durchzuführen, abgesehen davon, dass ich etwas in den Produzenten eintippe und es in den Konsumenten sehe.

Wie kann ich eine Quelle erstellen, die Daten wie Json oder Avro kontinuierlich in den Kafka-Producer einfügt und so kann ich es mit Funken verarbeiten und einige Operationen daraus ausführen. Brauchen Sie Vorschläge, wie kann ich das

Answer 1

entwerfen, finden Sie den folgenden Link. Diese

https://github.com/hortonworks-gallery/tutorials/blob/master/2015-09-26-transporting-real-time-event-stream-with-apache-kafka.md

ist ein HDP Tutorial .. Wenn Sie nicht HDP Stack .. bitte den Anfangsteil des Tutorials ignorieren ..

Es ist ein Kafka Hersteller durch eine JAR-Datei, die Sie

In diesem Lernprogramm wird eine Java-API verwendet, um Truck-Ereignisse mithilfe der Datei "New York City Truck Routes" (kml) zu erstellen.

Sie müssen die Datendatei und Java-Code und JAR-Datei herunterladen ..

Einzelheiten sind im Tutorial

hoffe, das hilft