Abfrage Cassandra und konsumieren Kafka in Reihenfolge

Ich bin neu zu funken und nicht sicher, wie dies erreicht werden kann. Irgendeine Idee, wie man Cassandra- und Verbraucher-Kafka-Strom von demselben Funkenjob abfragt. GrundsätzlichAbfrage Cassandra und konsumieren Kafka in Reihenfolge

Ich versuche Cassandra abzufragen und einige Informationen zu erhalten, wenn der Job startet.
Dann, mach weiter und konsumiere Kafka. Ich nutze die Informationen, die ich von Cassandra bekommen habe, um die Daten von Kafka zu transformieren. Also, wie kann ich die Reihenfolge dieser beiden Ereignisse sicherstellen.

Quelle

2017-05-05 Dangerous Scholar

Sie können das mit Spark-Cassandra-Connector tun. Das heißt, Sie kombinieren den Code, der cassandra verbindet und abfragt, mit dem Code, der Daten an kafka sendet. Sie können das Java-Gerät zum Lesen und Schreiben in Cassandra here finden. Um Ihre Daten an kafka zu senden, werfen Sie bitte einen Blick auf die Methode sendToKafka von this code.

Quelle

2017-05-06 12:38:52 berrytchaks

Danke, aber ich bin mir immer noch nicht sicher, wie ich sicherstellen kann, dass Dinge in dieser Reihenfolge passieren. Im Grunde genommen stammen Daten zur Transformation von Daten von Cassandra. Also muss ich diese Abhängigkeit irgendwie erzwingen, so dass der Funke-Job die Transformation nur anwendet, nachdem er Daten von Cassandra gelesen hat. –

Ich bin nicht sehr Show Ich verstehe das Problem, dem Sie jetzt gegenüberstehen. Denn wenn ich mir die Methode showResults im Code https://gist.github.com/jacek-lewandowski/278bfc936ca990bee35a ansehe, denke ich, dass man einfach die System.out.println (result) ersetzen kann; mit einem Aufruf der Methode sendToKafka dieses Codes https://github.com/streamlyio/streamly-spark-examples/blob/master/streamly-mqtt-kafka/src/main/java/io/streamly/examples/StreamlyMqttKafka. Java – berrytchaks

Abfrage Cassandra und konsumieren Kafka in Reihenfolge

Antwort

Verwandte Themen