2016-03-29 3 views
0

Hallo, ich versuche, eine Datei in meinem S3-Bucket mit dem Befehl cp in HDFS zu kopieren. Ich mache so etwas wie Hadoop --config config fs -cp s3a: // Pfad hadooppath Das funktioniert gut, wenn meine Konfiguration in meinem lokalen ist. Aber jetzt versuche ich, es als Oozie Job einzurichten. Also wenn ich jetzt die Konfigurationsdateien im Config-Verzeichnis meines lokalen Systems nicht weitergeben kann. Auch wenn es in HDFS ist, dann scheint es immer noch nicht zu funktionieren. Irgendwelche Vorschläge ?Ausführen von Oozie-Job mit einer modifizierten Hadoop-Konfigurationsdatei zur Unterstützung von S3 nach HDFS

Ich habe versucht -D Befehl in Hadoop und übergeben Name und Wert Paare, noch es wirft einen Fehler. Es funktioniert nur von meinem lokalen System.

+0

Willkommen bei Stack Overflow! Willkommen bei Stackoverflow! Können Sie bitte Ihre Frage mit Ihrem Aufwand wie Code oder etwas, so dass Leute Ihr Problem früh bekommen und Ihnen helfen können? Vielen Dank! – manetsus

Antwort

0

Haben Sie versucht DISTCP in oozie? Hadoop 2.7.2 unterstützt die S3-Datenquelle. Sie können es von Koordinatoren einplanen. Analysieren Sie die Anmeldeinformationen entweder in RESTAPI oder in Properties-Dateien. Die einfache Möglichkeit, Daten periodisch zu kopieren (geplante Methode).

${HADOOP_HOME}/bin/hadoop distcp s3://<source>/ hdfs://<destination>/ 
Verwandte Themen