Halten Sie die Reihenfolge in Kafka nach der Wiedergabe von Nachrichten mit Hilfe von Storm

Question

Ich benutze Apache Kafka als meine Storm Auslauf. Ich empfange die Nachrichten von Kafka, bearbeite diese Nachrichten und sende sie zurück an den Kafka.

Ich frage mich, ob ich die Nachrichten in der gleichen Reihenfolge halten kann. das heißt

topic01: A, B, C -> Storm -> topic02: A_, B_, C_

Ich benutzte einen Auslauf und einen Bolzen, um zu versuchen, den Auftrag zu halten, aber es wird nicht funktionieren. Ich versuchte auch OpaqueTridentKafkaSpout, aber die Reihenfolge änderte sich noch.

Gibt es also Lösungen, um dieses Problem zu lösen? Danke.

Answer 1

Kafka garantiert nur die Bestellung innerhalb von Partitionen. Sie können diese Reihenfolge pro Partition innerhalb von Storm beibehalten, wenn Sie fieldsGrouping für die Partitions-ID verwenden und das Ergebnis für das Ergebnisthema auf die gleichen Partitionen schreiben.