Konvertieren von CSV in das erforderliche Format für den Import in DynamoDB mit AWS Datapipeline

Die AWS-Dokumentation importiert Daten aus S3 in eine Dynamo-DB-Tabelle mit Datenpipeline (https://docs.aws.amazon.com/datapipeline/latest/DeveloperGuide/dp-importexport-ddb-part1.html) Verweise auf eine S3-Datei (s3: // elasticapreduce/samples/Store/ProductCatalog), die in diesem Format ist:Konvertieren von CSV in das erforderliche Format für den Import in DynamoDB mit AWS Datapipeline

https://docs.aws.amazon.com/datapipeline/latest/DeveloperGuide/dp-importexport-ddb-pipelinejson-verifydata2.html?_sm_ovs=2DtvnqvHTVHW7q50vnqJqRQFVVnqZvnqMVVVVVVsV

Frage ... ist, wie bekomme ich eine CSV-Zeilen in erster Linie in dieses Format 4 Millionen sagen? Gibt es dafür eine Möglichkeit?

Danke für irgendwelche Vorschläge ... Ich hatte einen guten Google und habe nichts gefunden.

Quelle

2016-08-02 Andrew Duffy

Vielleicht ist es immer die Absicht, Daten zuerst von Dynamo nach S3 zu exportieren (sichern Sie es) und dann können Sie diese immer wieder importieren ... und so haben Sie die Datei im richtigen Format .... Aber nicht so sehr ein erster Import in Dynamo Workflow, die ich versuche zu erreichen. –

Ich habe dies einmal über einen benutzerdefinierten Pipeline-Job getan. Ich poste nicht als Antwort, da ich nicht den Link oder eine Kopie dessen, was ich genau verwendet habe, habe. Es war ungefähr so: https://github.com/awslabs/data-pipeline-samples/blob/master/samples/DynamoDBImportCSV/CSVtoDynamoDB.json – stevepkr84

-1

AWS Datapipeline-Dienst unterstützt CSV-Import in dynamo db. Sie können eine Pipeline über die aws-Konsole für Datapipeline erstellen und "DynamoDB-Sicherungsdaten von S3 importieren" auswählen. CSV in S3 zu Dynamodb importieren.

Siehe auch

http://docs.aws.amazon.com/amazondynamodb/latest/developerguide/DynamoDBPipeline.html#DataPipelineExportImport.Importing

Quelle

2016-08-02 05:49:48 user2762150

Nein. Ich benutze diese Vorlage, aber die Daten müssen drin sein das richtige Format, wie ich oben gezeigt habe ... nicht nur eine direkte CSV. Hast du das tatsächlich versucht? –

steveprk84 bereits dazu in seiner Antwort verknüpft ist, aber ich wollte es rufen: https://github.com/awslabs/data-pipeline-samples/tree/master/samples/DynamoDBImportCSV

Hive auf EMR unterstützt DynamoDB als externen Tabellentyp. In diesem Beispiel wird eine HiveActivity verwendet, um externe Hive-Tabellen zu erstellen, die auf die Ziel-Dynamo-Tabelle und die Quell-CSV verweisen. Anschließend wird eine Hive-Abfrage ausgeführt, um die Daten von einer in die andere zu kopieren.

Quelle

2016-08-09 19:35:06 joshtok

Konvertieren von CSV in das erforderliche Format für den Import in DynamoDB mit AWS Datapipeline

Antwort

Verwandte Themen