Kopieren Sie Dateien von HDFS zu Amazon S3 mit distp und s3a Schema

Question

Verwenden Sie Apache Hadoop Version 2.7.2 und versuchen, Dateien von HDFS zu Amazon S3 mit dem Befehl unten kopieren.

hadoop distcp hdfs://<<namenode_host>>:9000/user/ubuntu/input/flightdata s3a://<<bucketid>> 

Unter Ausnahme mit dem obigen Befehl erhalten.

java.lang.IllegalArgumentException: java.net.URISyntaxException: Relative path in absolute URI: s3a://<<bucketid>>.distcp.tmp.attempt_1462460298670_0004_m_000001_0 

Vielen Dank für die Hilfe.

Answer 1

Es sollte möglich sein, von HDFS bis S3 zu gehen - ich habe es getan, bevor Syntax wie die folgende verwenden, ist es von einem HDFS Cluster ausgeführt:

distcp -Dfs.s3a.access.key = ... -Dfs.s3a.secret.key = .../user/Vagabund/bigdata s3a: // mytestbucket/bigdata

es führen Sie Ihren Befehl so, funktioniert es:

hadoop distcp hdfs:// namenode_host: 9000/user/ubuntu/eingang/flugdaten s3a: // bucketid/flightdata

Von der Ausnahme: Es sieht so aus, als würde erwartet, dass ein 'Ordner' die Daten eingibt, im Gegensatz zum Root des Buckets.