Kafka ein Verbraucher eine Partition

Question

Ich habe einen Anwendungsfall, wo ich ein einziges Thema mit 100 Partitionen haben, wo Nachrichten in jeder Partition mit ein wenig Logik gehen und ich habe 100 Verbraucher, die diese Nachricht liest. Ich möchte eine bestimmte Partition einem bestimmten Verbraucher zuordnen. Wie kann ich das erreichen?

Answer 1

Die Javadoc für den Kafka Consumer, speziell den Abschnitt "Manuelle Partitionierung" auschecken.

TL/DR

Sie können manuell bestimmte Partitionen zu einem Verbraucher wie folgt vergeben:

String topic = "foo"; 
TopicPartition partition0 = new TopicPartition(topic, 0); 
TopicPartition partition1 = new TopicPartition(topic, 1); 
consumer.assign(Arrays.asList(partition0, partition1));