Übertragung von Dateien von ungesicherten hdfs zu gesicherten hdfs-Cluster

Ich wollte Dateien von ungesicherten HDFS-Cluster zu kerberized Cluster übertragen. Ich verwende distcp, um die Dateien zu übertragen. Ich habe den folgenden Befehl verwendet.Übertragung von Dateien von ungesicherten hdfs zu gesicherten hdfs-Cluster

hadoop distcp -D ipc.client.fallback-to-simple-auth-allowed=true hdfs://<ip>:8020/<sourcedir> hdfs://<ip>:8020/<destinationdir>

Ich bekomme den folgenden Fehler, nachdem ich den obigen Befehl im Kerberized-Cluster ausgeführt habe.

java.io.EOFException: End of File Exception between local host is: "<xxx>"; destination host is: "<yyy>; : java.io.EOFException; For more details see: http://wiki.apache.org/hadoop/EOFException

Quelle

2017-02-15 Midhun Mathew Sunny

können Sie versuchen mit 'webhdfs: /' anstelle von 'hdfs: /'? –

für beide Cluster Uris? –

Versucht mit webhdfs. Aber unter Ausnahme '17/02/15 11:42:17 ERROR tools.DistCp: Ungültige Argumente: java.io.IOException: Unerwartete HTTP-Antwort: code = 404! = 200, op = GETDELEGATIONTOKEN, Nachricht = Nicht gefunden ' –

dies Fehler, da:

Cluster für RPC-Kommunikation, in einem solchen Fall blockiert wird, webhdfs Protokoll kann verwendet werden, so oben distcp als
neu geschrieben werden kann

hadoop distcp -D ipc.client.fallback-to-simple-auth-allowed=true hdfs://xxx:8020/src_path webhdfs://yyy:50070/target_path

das ist sehr gut blog post for distcp

Quelle

2017-02-15 17:01:43

Übertragung von Dateien von ungesicherten hdfs zu gesicherten hdfs-Cluster

Antwort

Verwandte Themen