Apache Flume Kafka Producer - Generiere partition_id/key dynamisch

Question

Ich habe eine Aufgabe Apache Flume zu verwenden, um Nachrichten an ein Kafka-Thema zu senden. Der Vorbehalt ist, dass ich eine Partition basierend auf einer IP-Adresse angeben muss, die in der Nachricht enthalten sein wird.

Gibt es eine Möglichkeit, Apache Flume dynamisch zu konfigurieren, oder muss ich ein benutzerdefiniertes Producer-Plugin implementieren?

Vielen Dank.

Answer 1

Nach einigem Nachforschungen ist die einzige echte benutzerdefinierte Art der Konfiguration des Produzenten, eigene zu rollen.

Ich implementierte die AbstractSink Schnittstelle und legte meinen eigenen Hash-Algorithmus ein, um eine Partition zu generieren, an die die Nachricht gesendet werden soll.