Wie lade ich Daten von S3 nach PostgreSQL RDS

Question

Ich habe die Notwendigkeit, Daten von S3 zu Postgres RDS (ca. 50-100 GB) zu laden Ich habe keine Option, AWS Data Pipeline zu verwenden, und ich bin auf der Suche nach etwas Ähnlichem Verwenden des COPY-Befehls zum Laden von Daten in S3 in Amazon Redshift.

Ich würde mich über Vorschläge freuen, wie ich dies erreichen kann.

Answer 1

http://docs.aws.amazon.com/redshift/latest/dg/t_loading-tables-from-s3.html

Verwenden des Kopierbefehl eine Tabelle, die parallel von Datendateien auf Amazon S3 zu laden. Sie können die zu ladenden Dateien mit einem Amazon S3-Objektpräfix oder mithilfe einer Manifestdatei angeben.

Die Syntax um die Dateien angeben, indem Sie einen Präfix geladen werden soll, wie folgt:

copy <table_name> from 's3://<bucket_name>/<object_prefix>' 
authorization; 

Update

Eine weitere Option s3 zu montieren ist und direkten Weg zu der Verwendung csv mit COPY Befehl. Ich bin mir nicht sicher, ob es effektiv 100 GB halten wird, aber es lohnt sich zu versuchen. Here is some list von Optionen auf Software.

Dennoch wäre eine weitere Option sein s3 Datei Teil für Teil with something described here in eine Datei und COPY von Named Pipe, described here

Und die naheliegendste Option einfach herunterladen Datei auf einen lokalen Speicher und verwenden COPY „Parsen“ I don‘ t cover überhaupt

Auch erwähnenswert wäre s3_fdw (Status instabil). Readme ist sehr lakonisch, aber ich nehme an, Sie könnten eine fremde Tabelle erstellen, die zur s3-Datei führt. Was bedeutet, dass Sie Daten in andere Relationen laden können ...