Kafka nimmt keine großen Dateien (30+ mb) in NiFi

Question

Ich benutze Apache NiFi, und wenn Kafka versucht, eine Textdatei zu nehmen, die ungefähr 30mb ist, ohne einen Fehler zu geben, weigert sich der PutKafka-Prozessor die Daten von meinem GetFile-Prozessor gesendet.

Here is my config for my PutKafka Processor:

Here's what happens when I try to put the file through to the PutKafka processor:

Ich habe versucht, ohne Erfolg, einige der Werte innerhalb des PutKafka Prozessor zu verändern. Dieselbe Konfiguration war erfolgreich beim Senden einer sehr kleinen Textdatei, aber sie wurde nicht durch die Pipe begrenzt.

Dank

Answer 1

Könnten Sie in den Protokollen, schauen Sie sich bitte und sehen, ob es dort relevanten Stack-Traces ist und sie hier einfügen. Mein Verdacht ist, dass Sie über die maximale Puffergröße hinaus sind und Kafka selbst fehlschlägt, so dass die Nachricht niemals das Thema erreicht. Während Sie zum Beispiel "max.request.size" überschreiben, ist Ihr "buffer.memory" viel kleiner als Ihre Anfragegröße. In jedem Fall würde die Stack-Trace helfen.