NIFI - Dev zu Test zu Prod

Question

Wir kämpfen mit dem Versuchen, den besten Ansatz für das Aktualisieren von Prozessorkonfigurationen herauszufinden, während ein Fluss durch die Dev-, Test- und Prod-Stufen fortschreitet. Wir möchten wirklich vermeiden, Host-, Port-, etc. Referenzen in den Prozessoren zu manipulieren, wenn der Ablauf in der spezifischen Umgebung bereitgestellt wird. Zumindest in unserem Fall werden wir verschiedene Hosts für Dinge wie ElasticSearch, PostGres usw. haben. Wie haben andere das gehandhabt?

Dinge, die wir betrachtet haben:

• Ziehen Sie die config aus einer Eigenschaftsausdruckssprache-Datei. Dies ist ideal für Prozessoren, die EL aktiviert haben, aber nicht für solche, bei denen dies nicht der Fall ist.
• Manipulieren Sie den XML-Fluss und überschreiben Sie die Host-, Port- und anderen Konfigurationen. Ein bisschen besorgt über versehentliche Verfälschung der XML und wie portabel wird dies über NIFI-Versionen sein.

Alle Tipps oder Vorschläge würden sehr geschätzt werden. Es gibt eine gute Chance, dass es eine offensichtliche Lösung gibt, die wir vernachlässigt haben.

EDIT:

Wir mit den Vorlagen werden die Byran vorgeschlagen. Sie werden definitiv unseren Anforderungen entsprechen und eine gute Möglichkeit für uns sein, Konfigurationen in zahlreichen Umgebungen zu steuern.

https://github.com/aperepel/nifi-api-deploy

Answer 1

Diese Diskussion kommt häufig auf, und es ist hier auf jeden Fall Raum für Verbesserungen ...

Sie sind richtig, dass zur Zeit ein Ansatz ist, umweltbezogene Eigenschaftswerte in den bootstrap.conf zu extrahieren, und referenzieren Sie sie dann über die Ausdrucksprache, damit die Datei flow.xml.gz von einer Umgebung in die andere verschoben werden kann. Wie Sie bereits erwähnt haben, funktioniert das nur gut mit Eigenschaften, die Ausdrücke unterstützen.

Um diese in Zukunft einfacher zu machen, gibt es eine Funktion Vorschlag für eine Idee, eine Variable Registry genannt:

https://cwiki.apache.org/confluence/display/NIFI/Variable+Registry

Ein interessanter Ansatz, den Sie an unter Verwendung von Vorlagen suchen möchten.Es gibt ein GitHub Projekt, das dabei helfen verwendet werden können:

https://github.com/aperepel/nifi-api-deploy

Answer 2

Sie in diesem Beitrag loook kann automating NIFI template deployment

Für Nifi Vorlagenbereitstellung zu automatisieren, gibt es ein Werkzeug, das gut funktioniert: https://github.com/hermannpencole/nifi-config

• Bereiten Sie Ihre nifi Entwicklung

  1. Erstellen Sie eine Vorlage auf nifi
  2. und herunterladen
  3. Extrac eine Beispielkonfiguration mit den Werkzeugen
• es auf die Produktion bereitstellen
  1. undeploy die alte Version mit den Werkzeugen
  2. die Bereitstellung Schablone mit den Werkzeugen
  3. aktualisieren Sie die Produktionskonfiguration mit den Werkzeugen