Kafka Partition Rebalancing (Zuordnung) dauert zu viel Zeit

Wir verwenden Kafka Cluster mit 3 Servern, alle von ihnen haben auch Tierpfleger. Wir haben 7 Themen mit jeweils 6 Partitionen. Wir haben 3 Java-Konsumenten für jedes Thema. Wenn ich den Consumer starte, dauert es fast 3-5 Minuten, um den Konsumenten Partitionen zuzuordnen. Das gleiche Verhalten tritt auf, wenn wir einen der Verbraucher stoppen und erneut starten. Wie kann ich es kontrollieren oder reduzieren?Kafka Partition Rebalancing (Zuordnung) dauert zu viel Zeit

Bitte beachten Sie, ich bin mit KAFKA 0,9, mit neuen Verbrauchern

ich hinzugefügt haben, unter Eigenschaften in server.properties jeden kafka

auto.leader.rebalance.enable=true 
leader.imbalance.check.interval.seconds=10

Lassen Sie mich wissen, wenn Sie mehr Informationen benötigen. Danke

Quelle

2016-04-05 Sunny Gupta

Überprüfen Sie den Wert, den Ihr Consumer für 'session.timeout.ms' verwendet.

Der Standardwert ist 30 Sekunden und die Koordination wird keine Neuverteilung auslösen, bis diese Zeit verstrichen ist. kein Herzschlag für 30 Sekunden.

Die Gefahr, dies zu verringern, ist, wenn Sie zu lange brauchen, um die Nachrichten zu verarbeiten, kann es zu einem Ausgleich kommen, weil der Koordinator denkt, dass Ihr Konsument tot ist.

Quelle

2016-04-05 20:44:56

Ja, das könnte der Grund sein, weil ich lange Sitzungszeit als 5 Minuten verwende, Verarbeitung der Nachricht dauert etwa 2-3 Minuten. Gibt es einen anderen Weg? –

Wenn es so lange dauert, um eine einzelne Nachricht zu verarbeiten, dann nein. Sie könnten die Nachricht immer in eine Datenbank schreiben und einen anderen Prozess durchführen. –

Kafka Partition Rebalancing (Zuordnung) dauert zu viel Zeit

Antwort

Verwandte Themen