Ich möchte Daten von Vertica zu Rotverschiebung mit Apache Nifi übertragen. Welches sind die Prozessoren und die Konfiguration, die ich einstellen muss?Übertragen von Daten von Vertica zu Redshift mit Apache Nifi
Wenn Vertica und Rotverschiebung haben „artig“ JDBC-Treiber, Sie DBCPConnectionPool für jede einrichten kann, dann wird ein SQL-Prozessor wie ExecuteSQL, QueryDatabaseTable oder GenerateTableFetch (von denen die letztere SQL für die Verwendung in ExecuteSQL erzeugt) . Diese erhalten Ihre Aufzeichnungen im Avro-Format, dann können Sie (vor NiFi 1.2.0) ConvertAvroToJSON ->ConvertJSONToSQL ->PutSQL verwenden, um Ihre Datensätze in Redshift einzufügen.
In NiFi 1.2.0 können Sie einen AvroReader für die Verwendung in PutDatabaseRecord einrichten. Dann brauchen Sie nur den SQL-Prozessor, um die Datensätze von Vertica direkt zu PutDatabaseRecord zu bekommen, um sie in Redshift zu bringen.
Hat das schon jemand probiert? Kann PutSQL 10000 Zeilen Batch einfügen, wenn wir Millionen Zeilen einfügen möchten? – halil
Links in der Antwort sind tot - Informationen finden Sie hier: https://nifi.apache.org/docs.html – shakedzy