Die Rate des Datenflusses überschreitet die Provenienzaufzeichnungsrate. Fluss verlangsamen, um

Question

unterzubringen Ich benutze nifi 1.1.0 und laufe zu viele Prozessoren auf, so dass es zu viel Last zu laufen hat. Wegen zu viel Last-Prozessoren laufen sehr langsam und ich bin immer einige Fehler:

The rate of the dataflow is exceeding the provenance recording rate. slowing down flow to accommodate. 

Ich habe die Speichergröße der Provenienz Repository in „nifi.properties“ Datei, aber keine Verbesserung. Ich habe die folgende Eigenschaft geändert:

Ich googelte, aber bekam keine richtige Lösung. Könnte mir jemand helfen, wie kann ich dieses Problem lösen?

Hier finden Sie den Screenshot unten für das gleiche:

Answer 1

Dieser Fehler gehört Eigenschaft zu folgen.

nifi.provenance.repository.index.threads=1 

Der Standardwert ist 1.

Für Ströme, die auf eine sehr hohe Anzahl von FlowFiles arbeiten, die Indizierung von Provenienz Ereignissen zu einem Engpass werden könnte.

Wenn dies der Fall ist, erscheint ein Bulletin, das anzeigt: "Die Geschwindigkeit des Datenflusses überschreitet die Provenienz-Aufzeichnungsrate. Verlangsamung des Flusses zur Anpassung."

Wenn dies geschieht, kann die Erhöhung des Werts dieser Eigenschaft die Rate erhöhen, mit der das Provenance Repository diese Datensätze verarbeiten kann, was zu einem besseren Gesamtdurchsatz führt.

Denken Sie daran, dass Sie die Anzahl der für einen Prozess verfügbaren Threads erhöhen, während Sie die Anzahl der Threads reduzieren, die für einen anderen verfügbar sind. Sie sollten dies also bei eins lassen, es sei denn, die obige Fehlermeldung wird angezeigt.

Für Ihre Überlegung können Sie Nifi mit folgenden Best Practices

https://community.hortonworks.com/articles/7882/hdfnifi-best-practices-for-setting-up-a-high-perfo.html

konfigurieren Sie eine bessere Leistung Ihrer Ergebnisse erhalten könnten.