2017-06-06 5 views
0

I kafka-console-Verbraucher mit durch Ausführen des Befehls eine Nachricht von Größe 3mb lesen versuche weitergeben müssen:Wie ein Argument kafka-console-Verbraucher

/bin/kafka-console-consumer --zookeeper myzookeeper:2181 --topic Topic1 

Aber ich bin immer Ausnahme:

2017-06-05 17:16:13,046] ERROR Error processing message, terminating consumer process: (kafka.tools.ConsoleConsumer$) 
kafka.common.MessageSizeTooLargeException: Found a message larger than the maximum fetch size of this consumer on topic Topic1 partition 9 at fetch offset 5. Increase the fetch size, or decrease the maximum message size the broker will allow. 
    at kafka.consumer.ConsumerIterator.makeNext(ConsumerIterator.scala:90) 
    at kafka.consumer.ConsumerIterator.makeNext(ConsumerIterator.scala:33) 
    at kafka.utils.IteratorTemplate.maybeComputeNext(IteratorTemplate.scala:64) 
    at kafka.utils.IteratorTemplate.hasNext(IteratorTemplate.scala:56) 
    at kafka.consumer.OldConsumer.receive(BaseConsumer.scala:89) 
    at kafka.tools.ConsoleConsumer$.process(ConsoleConsumer.scala:110) 
    at kafka.tools.ConsoleConsumer$.run(ConsoleConsumer.scala:70) 
    at kafka.tools.ConsoleConsumer$.main(ConsoleConsumer.scala:48) 
    at kafka.tools.ConsoleConsumer.main(ConsoleConsumer.scala) 
Processed a total of 0 messages 

Jetzt versuche ich, den Befehl auszuführen:

/bin/kafka-console-consumer --zookeeper myzookeeper:2181 --topic Topic1 --args max.partitiion.fetch.bytes=10485760 

Aber immer Fehler:

Wie kann ich den Parameter args an kafka-console-consumer übergeben?

Antwort

1

Versuchen Sie, Consumer-Eigenschaften in einer Datei anzugeben, und geben Sie sie mit dem Parameter --consumer.config an.

+0

Dank Dmitriy. Ich habe eine Eigenschaftendatei mit folgendem Inhalt erstellt: "max.partition.fetch.bytes = 10485760". Es funktionierte. – Praveen

Verwandte Themen