Elastic Map Reduce und amazon s3: Fehler bei den Zugriffstasten

Question

Ich bin neu bei Amazon EMR und Hadoop im Allgemeinen. Ich versuche derzeit, einen Pig-Job in einem EMR-Cluster einzurichten und Daten von S3 zu importieren und zu exportieren. Ich habe einen Bucket in s3 mit meinen Daten namens "datastackexchange" eingerichtet. In einem Versuch zu beginnen, um die Daten zu Pig zu kopieren, habe ich den folgenden Befehl verwendet:

ls s3://datastackexchange 

Und ich bin mit der folgenden Fehlermeldung erfüllt:

AWS Access Key ID and Secret Access Key must be specified as the username or password (respectively) of a s3 URL, or by setting the fs.s3.awsAccessKeyId or fs.s3.awsSecretAccessKey properties (respectively). 

Ich nehme ich fehle etwas kritisch Schritte (vermutlich mit dem Einrichten der Zugriffsschlüssel). Da ich neu bei EMR bin, könnte jemand bitte erklären, was ich tun muss, um diesen Fehler loszuwerden und mir zu erlauben, meine S3-Daten in EMR zu verwenden?

Jede Hilfe wird sehr geschätzt - danke.

Answer 1

Wie Sie richtig festgestellt haben, verfügen Ihre EMR-Instanzen nicht über die Zugriffsrechte für die S3-Daten. Es gibt viele Möglichkeiten, die AWS-Anmeldeinformationen für den Zugriff auf Ihre S3-Daten anzugeben. Die korrekte Methode besteht jedoch darin, IAM-Rollen für den Zugriff auf Ihre S3-Daten zu erstellen.

Configure IAM Roles for Amazon EMR erläutert die erforderlichen Schritte.