0
Ich habe versucht, einen Kafka-Broker, ein Thema, einen Produzenten, einen Verbraucher zu konfigurieren. wenn Produzent produziert, wenn der Broker nach unten geht, Datenverlust passiert, zB:Kafka Datenverlust, in Hersteller
In Buffer:
Datum 1 - published
Datum 2 - published
.
. ---->(Broker goes down for a while and reconnects...)
.
Datum 4 - published
Datum 5 - published
Eigenschaften für Producer konfiguriert sind:
bootstrap.servers=localhost:9092
acks=all
retries=1
batch.size=16384
linger.ms=2
buffer.memory=33554432
key.serializer=org.apache.kafka.common.serialization.IntegerSerializer
value.serializer=org.apache.kafka.common.serialization.StringSerializer
producer.type=sync
buffer.size=102400
reconnect.interval=30000
request.required.acks=1
Die Datengröße kleiner als die konfigurierte Puffergröße .. Hilf mir zu wissen, wo ich falsch liege ...!
Nicht sicher, was genau das tut. Ich gehe davon aus, dass die Nachrichten, die Sie versuchen, während des Maklers an Kafka zu schreiben, von Kafka nicht bearbeitet werden. Wenn eine Nachricht nicht bestätigt wird, zeigt dies an, dass die Nachricht nicht an Kafka geschrieben wurde und der Hersteller erneut versuchen muss, die Nachricht zu schreiben. –
ja, die Lösung war, versuchen Sie es so oft wie möglich, bis Broker kommt, so dass der letzte Offset festgeschrieben wird und die Wiederholungswerte an den Broker geschrieben werden. – peaceUser