Ich versuche zu sehen, wenn ich Daten mit RedShift stream strukturierten Streaming (v2.2) streamen kann, fand ich die spark-redshift Bibliothek (https://github.com/databricks/spark-redshift). Es funktioniert jedoch nur im Stapelmodus. Haben Sie noch weitere Vorschläge, wie Sie Daten streamen können? Wie ist die Leistung für COPY zu Redshift?Jeder versucht, Daten mit RedShift streamen structured streamen
Schätzen Sie!
Für geringe Datenmengen (wenige Zeilen von Daten gelegentlich), ist es OK zu verwenden:
insert into table ...
update table ...
delete from table ...
Befehle Rotverschiebung Daten zu erhalten. So funktioniert Sparkstreaming wahrscheinlich.
Für größere Volumes müssen Sie jedoch immer: 1) Daten in s3 schreiben, vorzugsweise in 1MB bis 1GB Dateien, vorzugsweise gezippt. 2) Führen Sie den Befehl redshift copy aus, um diese s3-Daten in den Bereich "staging" redshift zu laden. 3) Führen Sie redshift sql aus, um die Staging-Daten in Ihre Zieltabellen zu migrieren.
mit dieser Kopiermethode könnte Hunderte von Mal effizienter als einzelne Einsätze sein.
Dies bedeutet natürlich, dass Sie wirklich im Batch-Modus laufen müssen.
Sie können die Stapelaktualisierung alle paar Minuten ausführen, um die Latenz der Rotverschiebungsdaten niedrig zu halten.