Wie AWS Access Key ID und Secret Access Key als Teil einer Amazon s3n URL

Question

angeben Ich übergebe Eingabe-und Ausgabeordner als Parameter mapreduce Wortanzahl Programm von der Webseite.

unten Fehler Anfahrt:

HTTP Status 500 - Request processing failed; nested exception is java.lang.IllegalArgumentException: AWS Access Key ID and Secret Access Key must be specified as the username or password (respectively) of a s3n URL, or by setting the fs.s3n.awsAccessKeyId or fs.s3n.awsSecretAccessKey properties (respectively).

Answer 1

Die Dokumentation hat das Format: http://wiki.apache.org/hadoop/AmazonS3

s3n://ID:SECRET@BUCKET/Path 

Answer 2

Ich schlage vor, Sie verwenden:

hadoop distcp \ 
-Dfs.s3n.awsAccessKeyId=<your_access_id> \ 
-Dfs.s3n.awsSecretAccessKey=<your_access_key> \ 
s3n://origin hdfs://destinations 

es auch als Problemumgehung funktioniert für die Auftreten von Schrägstrichen im Schlüssel. Die Parameter mit dem ID und Zugangsschlüssel muss genau in dieser Reihenfolge geliefert werden: nach disctcp und vor Herkunft

Answer 3

Pass in dem AWS Credentials als Teil der URL S3N Amazon ist normalerweise nicht Sicherheit empfohlen, wiese. Vor allem, wenn dieser Code in einen Repository-Speicherdienst (wie Github) geschoben wird.

<configuration> 
    <property> 
    <name>fs.s3n.awsAccessKeyId</name> 
    <value>XXXXXX</value> 
    </property> 

    <property> 
    <name>fs.s3n.awsSecretAccessKey</name> 
    <value>XXXXXX</value> 
    </property> 
</configuration> 

oder neu installieren awscli auf Ihrem Rechner: Im Idealfall Ihre Anmeldeinformationen in dem conf/Kern-site.xml nach.

pip install awscli