AWS Daten Pipeline Backup RDS PSQL Daten zu S3

Ich versuchte AWS DATA Pipeline zu verwenden, um Daten von PSQL nach S3 zu übertragen, jedoch sind meine Aktivitäten aufgrund von Speicherproblemen fehlgeschlagen. Ich bekomme Java-Heap-Platz FehlerAWS Daten Pipeline Backup RDS PSQL Daten zu S3

Was sind die multiple Lösung, durch die ich Daten von psql Tabelle (25 Gb) nach S3 übertragen kann. Ist High-Memory-Maschine die einzige Option?

Ronak

Quelle

2017-05-06 Ronak Agrawal

Ich gehe davon aus, bedeuten psql Tabelle Postgres-Datenbank-Tabelle.

Ich bin mir nicht sicher, warum diese Backup-Aktivität oder Übertragung von Daten in Ihrem Front-End passieren muss.

Die Art und Weise, wie wir eine Sicherung der Tabelle in eine CSV-Datei übernehmen, verwendet den Befehl copy. Sie können das über die Befehlszeile ausführen.

Quelle

2017-05-08 21:52:47 vira

Danke Vira. Ich kenne den Kopierbefehl. Ich habe 2-25 Gb und 3-40 Gb Tabellen. Müssen sie zu S3 bringen. Die EC2-Instanz, die ich gerade benutze, kopiert die Daten nicht, da sie hohen Speicher benötigt. Also habe ich versucht, AWS DataPipeline zu verwenden. –

@ronakAgrawal Welche Instanzklasse verwenden Sie? – vira

T2.Medium. Obwohl AWS-Pipeline die Daten in S3 streaming –

AWS Daten Pipeline Backup RDS PSQL Daten zu S3

Antwort

Verwandte Themen