Kann nicht S3 Eimer mit Hadoop

Question

Zugang Ich versuche, mit Hadoop mein S3 Eimer zuzugreifen (2.7.3) und ich erhalte die folgende

ubuntu @ AWS: ~/Prototype/hadoop $ ubuntu @ AWS: ~/Prototype/hadoop $ bin/hadoop fs -ls s3: // [Eimer]/

17/03/24 15:33:31 WARN util.NativeCodeLoader: Kann nicht mutter hadoop Bibliothek laden für Ihre Plattform ... mit eingebauten-Java-Klassen wo anwendbar -ls: Fataler interner Fehler com.amazonaws.services.s3.model.AmazonS3Exception: Statuscode: 400, AWS Service: Amazon S3, AWS Anfrage-ID: 1FA2318A386330C0, AWS Fehler Code: null, AWS Fehlermeldung: Bad Request, S3 Erweiterte ID anfordern: 1S7Eq6s9YxUb9bPwyHP73clJvD619LZ2o0jE8VklMAA9jrKXPbvT7CG6nh0zeuluGrzybiPbgRQ = bei com.amazonaws.http.AmazonHttpClient.handleErrorResponse (AmazonHttpClient. Java: 798) bei com.amazonaws.http.AmazonHttpClient.executeHelper (AmazonHttpClient.java:421) bei com.amazonaws.http.AmazonHttpClient.execute (AmazonHttpClient.java:232) bei com.amazonaws.services .s3.AmazonS3Client.invoke (AmazonS3Client.java:3528) bei com.amazonaws.services.s3.AmazonS3Client.headBucket (AmazonS3Client.java:103 1) bei com.amazonaws.services.s3.AmazonS3Client.doesBucketExist (AmazonS3Client.java:994) bei org.apache.hadoop.fs.s3a.S3AFileSystem.initialize (S3AFileSystem.java:297) bei org .apache.hadoop.fs.FileSystem.createFileSystem (FileSystem.java:2669) bei org.apache.hadoop.fs.FileSystem.access $ 200 (FileSystem.java:94) um org.apache.hadoop.fs.FileSystem $ Cache.getInternal (FileSystem.java:2703) bei org.apache.hadoop.fs.FileSystem $ Cache.get (FileSystem.java:2685) bei org.apache.hadoop.fs.FileSystem.get (FileSystem.java: 373) bei org.apache.hadoop.fs.Path.getFileSystem (Path.java:295) bei org.apache.hadoop.fs.shell.PathData.expan dAsGlob (PathData.java:325) bei org.apache.hadoop.fs.shell.Command.expandArgument (Command.java:235) bei org.apache.hadoop.fs.shell.Command.expandArguments (Befehl. java: 218) um org.apache.hadoop.fs.shell.Command.processRawArguments (Command.java:201) bei org.apache.hadoop.fs.shell.Command.run (Command.java:165) um org.apache.hadoop.fs.FsShell.run (FsShell.java:287) um org.apache.hadoop.util.ToolRunner.run (ToolRunner.java:70) um org.apache.hadoop.util.ToolRunner .run (ToolRunner.java:84) um org.apache.hadoop.fs.FsShell.main (FsShell.java:340) ubuntu @ AWS: ~/Prototyp/hadoop $

Conf-site.xml:

<configuration> 
    <property> 
     <name>fs.defaultFS</name> 
     <value>s3://[ Bucket ]</value> 
    </property> 

    <property> 
      <name>fs.s3a.endpoint</name> 
      <value>s3.eu-central-1.amazonaws.com</value> 
    </property> 

    <property> 
     <name>fs.s3a.access.key</name> 
     <value>[ Access Key Id ]</value> 
    </property> 

    <property> 
     <name>fs.s3a.secret.key</name> 
     <value>[ Secret Access Key ]</value> 
    </property> 

    <property> 
     <name>fs.s3.awsAccessKeyId</name> 
     <value>[ Access Key Id ]</value> 
    </property> 

    <property> 
     <name>fs.s3.awsSecretAccessKey</name> 
     <value>[ Secret Access Key ]</value> 
    </property> 

    <property> 
     <name>fs.s3n.awsAccessKeyId</name> 
     <value>[ Access Key Id ]</value> 
    </property> 

    <property> 
     <name>fs.s3n.awsSecretAccessKey</name> 
     <value>[ Secret Access Key ]</value> 
    </property> 

    <property> 
     <name>fs.s3.impl</name> 
     <value>org.apache.hadoop.fs.s3a.S3AFileSystem</value> 
    </property> 

    <!-- Comma separated list of local directories used to buffer 
     large results prior to transmitting them to S3. --> 
    <property> 
     <name>fs.s3.buffer.dir</name> 
     <value>/tmp</value> 
    </property> 
</configuration> 

Wer weiß, was das Problem ist?

Edit: Der Eimer und die VMs es ist in Frankfurt erreichbar. Es schien, ähnlich wie https://docs.hortonworks.com/HDPDocuments/HDCloudAWS/HDCloudAWS-1.8.0/bk_hdcloud-aws/content/s3-trouble/index.html aber nach dem Hinzufügen der Endpunkt noch funktioniert es nicht.

Answer 1

Klingt wie das V4-Auth Problem, das der fs.s3a.Endpoint-Eigenschaft sollte behoben haben, dass

Uhr Probleme auch Probleme verursachen können. Überprüfen Sie Joda Zeit, und stellen Sie sicher, dass alle Ihre Maschinen den Wechsel der Uhr am Wochenende aufgeholt haben.

Versuchen Sie auch, das Hadoop 2.8.0 RC3 zu greifen und zu sehen, ob das Problem dann verschwunden ist. Wenn es noch da ist, ist das die Version, um um Hilfe in den Apache-Listen zu bitten.