2017-02-06 1 views
0

Ich versuche, die große Datenmenge von rund 1 GB zu bekommen, und ich fand vor allem, dass die große Datenmenge ist in Amazon Web Service wie https://aws.amazon.com/datasets/google-books-ngrams/ und besagen, dass DatenWie zum Download-Datensatz von Amazon AWS

s3 verfügbar: //datasets.elasticmapreduce/ngrams/books/

Jetzt versuche ich diese Daten herunterzuladen. Aus diesem Grund habe ich meine virtuelle Maschine in AWS erstellt. Wie kann ich diese 2 GB Daten in meinem AWS herunterladen, damit ich später über scp auf meinen lokalen Rechner übertragen kann?

+1

Diese Dateien sind auf S3. Es war nicht notwendig, Server auf AWS zu erstellen, nur um diese herunterzuladen. Installieren Sie das AWS CLI-Tool, und laden Sie sie herunter. –

Antwort

1

Wie Mark B kommentierte, müssen Sie keinen Server in AWS hochfahren, um diese Datensätze herunterzuladen. Sie sind öffentlich in S3 gehostet, so können Sie die AWS S3 CLI cp-Tool verwenden, um sie zu Ihrem lokalen Rechner herunterladen, indem Sie:

aws s3 cp --recursive s3://datasets.elasticmapreduce/ngrams/books/ local 

Relevante Dokumentation here gefunden werden kann.