Wie JSON-Daten auf Amazon S3 Server

herunterladen Ich habe eine https://link, die mir ein JSON-Objekt mit 50 GB Daten zurückgibt. Ich möchte diese Json mit einem Java-Code direkt auf S3 herunterladen. Oder jedes andere Tool, das diese Daten direkt auf s3 herunterladen kann.Wie JSON-Daten auf Amazon S3 Server

Ich habe wirklich einige Möglichkeiten aus einem Java-Code versucht Ich kann etwa 200 MB Daten herunterladen, aber wenn die Größe erhöht, scheitern.

Ich brauche hier eine Hilfe.

Quelle

2017-01-27 gauravprasad

* "es scheitert" * ... okay, in welcher Weise scheitert es? Was ist der Fehler? In jedem Fall sollte es nicht scheitern, und ** irgendein ** allgemeines Werkzeug sollte in der Lage sein, dies zu handhaben, wie beispielsweise "curl" oder "wget". S3 unterstützt Objekte bis zu 5 TB, und es gibt keinen grundlegenden Grund, warum ein Standard-HTTP-Client kein Objekt jeder Größe von S3 herunterladen könnte. –

Die Frage ist nicht klar, wenn Sie zu S3 hochladen oder von S3 herunterladen. Wenn das Hochladen dann das Maximum ist, das Sie in einer einzelnen Anfrage PUT können, ist 5Gb. Zumindest müssen Sie einen mehrteiligen Upload verwenden. – Qwerky

Ich glaube nicht, dass dies möglich ist, gibt es auf der Netzebene Datenlimit (Router etc ...)

Sie haben zwei Möglichkeiten: 1. Schreib eine paginierte Schreib api und eine Datei Merge API (Download in Stücke und zusammenführen) 2. Erhöhen Sie die Grenzen überall (Switches, Router E3)

Die leichtere und bessere IMO-Ansatz ist der erste, wo Sie wenige Dienste zum Download verify schreiben und fortfahren und schließlich zusammenführen können.

Quelle

2017-01-27 20:06:42 amitmah

Wie JSON-Daten auf Amazon S3 Server

Antwort

Verwandte Themen