DistCp Fehlertoleranz zwischen zwei Remote-Clustern

Question

Ich muss ein Verzeichnis von einem Cluster zu einem anderen mit ähnlichen HDFS kopieren (beide sind MAPR-Cluster).

Ich bin geplant, DistCp Java API zu verwenden. Aber ich wollte doppelte Kopien von Dateien im Verzeichnis vermeiden. Ich wollte wissen, ob diese Operationen fehlertolerant sind. Wenn zB die Dateien wegen Verbindungsverlust nicht vollständig kopiert werden, wenn der DistCp die Kopien erneut startet, um eine Datei korrekt zu kopieren?

Answer 1

distcp MapReduce verwendet, um seine Verteilung, Fehlerbehandlung und -wiederherstellung und Berichterstattung zu bewirken.

Bitte sehen Update and Overwrite

Sie -overwrite Option können Duplikate Außerdem vermeiden, können Sie Update-Option überprüfen, wie gut. Wenn die Netzwerkverbindung ausfällt, sobald die Verbindung wiederhergestellt, dann können Sie erneut initiieren mit Option zum Überschreiben

Siehe Beispiele von -update und -overwrite wie in obigen Führungs Link erwähnt.

Answer 2

Hier der Link für Refactoring distcp ist: https://hadoop.apache.org/docs/r2.7.2/hadoop-distcp/DistCp.html

As „@RamPrasad G“ erwähnt, ich denke, Sie keine andere Möglichkeit haben, als die distcp im Falle eines Netzausfalls wiederholen.

Einige gut liest:

Hadoop distcp Netzausfälle mit WebHDFS

http://www.ghostar.org/2015/08/hadoop-distcp-network-failures-with-webhdfs/

Distcp zwischen zwei HA Cluster

http://henning.kropponline.de/2015/03/15/distcp-two-ha-cluster/

Übertragen von Daten zu/von Altiscale über S3 mit DistCp

https://documentation.altiscale.com/transferring-data-using-distcp Diese Seite hat einen Link für ein Shell-Skript mit Wiederholungs, die Ihnen nützlich sein könnten.

Hinweis: Danke an die ursprünglichen Autoren.