Kann nicht Funkenjobausgabe in s3 Eimer direkt

Question

Ich habe einen Funkenjob schreiben, die ihre Ergebnisse in s3 Eimer schreiben, ist die Sache, wenn die Ausgänge Bucketnamen wie diese s3a aussieht: // bucket_name/Ich erhalte einen Fehler

Caused by: com.amazonaws.services.s3.model.AmazonS3Exception: Status Code: 404, AWS Service: Amazon S3, AWS Request ID: xxx, AWS Error Code: NoSuchKey, AWS Error Message: null, S3 Extended Request ID: xxx 

aber wenn ich einen Unterordner innerhalb der Ausgabe-Bucket hinzufügen (s3a: // Bucket_name/Unterordner /) funktioniert es!

Ich benutze hadoop-aws 2.7.3 um von s3 zu lesen.

Was ist das Problem?

Vielen Dank im Voraus.

Answer 1

Kein Funkenflug. Geben Sie an, wie die S3-Clients mit Stammverzeichnissen arbeiten. Sie sind "besonders". HADOOP-13402 Art von sieht es an. Der Code, den Sie dort haben, stammt eindeutig von Amazons eigenem Objektspeicher-Client, aber er verhält sich genau so.

Um es anders zu betrachten: Sie würden nicht arbeiten zu "file: ///" oder "hdfs: ///"; Alles erwartet ein Unterverzeichnis.

Entschuldigung.