2016-10-13 3 views
1

ich die folgende Fehlermeldung erhaltenKafka Produzent RecordTooLargeException

org.apache.kafka.common.errors.RecordTooLargeException: Die Nachricht ist 196.773 Bytes serialisiert, die größer ist als die gesamte Speicherpuffer ist, dass Sie mit der so konfiguriert haben, buffer.memory Konfiguration“

Aber die buffer.memory in meinem Produzenten config 10485760

nicht sicher, warum? Vielen Dank

+0

müssen Sie einige Eigenschaften konfigurieren, wenn Ihre Nachrichtengröße mehr als 1 MB ist, 1 MB Standard ist, benutzen Sie bitte diese unter http: // Stackoverflow. com/questions/21020347/kafka-sending-a-15mb-nachricht – Shankar

Antwort

0

Ich verstehe, dass Ihr buffer.memory in Producer Config mehr ist als die Größe der Nachricht, die Sie produzieren. Es gibt jedoch einige Konfigurationseinstellungen, die Sie pflegen müssen, um eine Nachricht mit einer Größe von mehr als 1 MB zu erstellen.

message.max.bytes - dies ist die größte Größe der Nachricht, die der Broker von einem Hersteller erhalten kann. max.message.bytes - dies ist die größte Größe der Nachricht, die der Broker an das Thema anhängen darf.

gehen Sie bitte über untenstehenden Link für weitere Informationen: How can I send large messages with Kafka (over 15MB)?

Verwandte Themen