Pentaho Update/Insert

Question

Ich versuche, ein Setup in Pentaho zu haben, wo:

1. Meine Quelldaten in MySQL DB und Zieldatenbank ist Rotverschiebung Amazon.

2. Ich möchte inkrementelle Lasten auf Redshift-Datenbanktabelle, basierend auf dem letzten aktualisierten Zeitstempel von MySQL DB-Tabelle.

Primärschlüssel ist der Studentenausweis.

Kann ich dies mit update/input in Pentaho implementieren?

Answer 1

Einfügen/Aktualisieren Schritt in Pentaho Data Integration dient dazu, die Zeile einzufügen, wenn sie nicht in der Zieltabelle vorhanden ist, oder sie zu aktualisieren, wenn sie bereits vorhanden ist. Es hat nichts mit inkrementellen Ladevorgängen zu tun, aber wenn Ihre Ladevorgänge den Datensatz basierend auf einem Change Data Capture-Mechanismus einfügen oder aktualisieren sollten, ist dies der richtige Schritt am Ende des Prozesses.

Zum Beispiel könnten Sie eine von zwei Arten gehen:

• Wenn Sie eine CDC die Daten in Tabelleneingabe für MySQL dann begrenzen, da Sie bereits das letzte Mal kennen ein Datensatz geändert wurde (letzte Last)
• Wenn Sie nicht über eine CDC und Sie vergleichen ganze Tabellen gehen dann für die Sätze Verbindungsreihen zu erzeugen, die sich geändert hat und führen Sie dann eine Last (langsamer Lösung)