Wir bekommen zufällig NetworkExceptions und TimeoutExceptions in der Produktionsumgebung:Kafka Producer NetworkException und Timeout Ausnahmen
Brokers: 3
Zookeepers: 3
Servers: 3
Kafka: 0.10.0.1
Zookeeeper: 3.4.3
Wir gelegentlich diese Ausnahme in meinem Produzenten Protokolle erhalten:
Verfallen 10 Satz (e) für THEMA: XXXXXX: 5608 ms ist seit Batch Erstellung plus Verweilzeit vergangen.
Die Anzahl der Millisekunden in solchen Fehlermeldungen ändert sich ständig. Manchmal ist es ~ 5 Sekunden anderen Zeiten ist es bis zu ~ 13 Sekunden!
Und sehr selten erhalten wir:
NetworkException: Server disconnected before response received.
Cluster besteht aus Makler und zookeepers. Producer Server und Kafka Cluster sind in gleiche Netzwerk.
Ich mache synchrone Aufrufe. Es gibt einen Webdienst, an den mehrere Benutzeranfragen zum Senden ihrer Daten anrufen. Der Kafka-Webservice hat ein Producer-Objekt, das den gesamten Versand durchführt. Das Producer's Request Timeout war 1000ms anfänglich, das in 15000ms geändert wurde (15 Sekunden). Auch nach einer Erhöhung der Timeout-Zeit werden TimeoutExceptions immer noch in Fehlerprotokollen angezeigt.
Was kann der Grund sein?
Vielleicht sollten Sie versuchen, Ihre Anfrage Timeout Verlängerung Sehen Sie, was das macht. –
Welche Kafka-Version verwenden Sie? –
Sicher, werde das versuchen. Was mich überrascht ist, dass dies eine Vorproduktionsumgebung ist. Wir haben sehr wenig Ladung. Nicht mehr als 100.000 Nachrichten an einem Tag.Liegt dies an Netzwerküberlastung? Wird das Netzwerk selbst bei so geringer Last überlastet? – Shades88