Wie löst RecordTooLargeException im Kafka Producer auf?

Question

Ich verwende FlinkKafkaProducer08, um Datensätze an Kafka zu senden. Aber irgendwann bekomme ich die folgende Ausnahme, obwohl die Aufzeichnung, die ich in Fehlermeldung drucke, zu klein ist in der Größe 0,02 MB.

java.lang.RuntimeException: Could not forward element to next operator 
Caused by: java.lang.RuntimeException: Could not forward element to next operator 
Caused by: java.lang.Exception: Failed to send data to Kafka: The message is 1513657 bytes when serialized which is larger than the maximum request size you have configured with the max.request.size configuration. 
Caused by: org.apache.kafka.common.errors.RecordTooLargeException: The message is 1513657 bytes when serialized which is larger than the maximum request size you have configured with the max.request.size configuration 

Versucht, max.request.size auf Producer zu ändern, aber das erfordert Broker Änderungen an und Neustart des Brokers.

Answer 1

Es gibt auch einen Makler für max Nachrichtengröße einstellen:

message.max.bytes : 1,000,000 (default) 

So müssen Sie Ihren Broker neu zu starten - aber das sollte kein Problem sein. Kafka ist in Bezug auf Broker Bounces robust aufgebaut.

Cf. http://kafka.apache.org/082/documentation.html#producerconfigs