Wie führe ich verschlüsseltes distcp von hdfs zu s3?

Question

Ich möchte Daten von unserem Hadoop-Cluster (vor Ort) zu s3 kopieren. Ich kann es unverschlüsselt machen. Ich kann s3cmd auch mit clientseitiger Verschlüsselung ausführen. Wie kann ich mit der clientseitigen Verschlüsselung umgehen?

Answer 1

Neueste Hadoop-Versionen sollten die Übertragung mit clientseitiger Verschlüsselung problemlos durchführen.

Um sicher zu sein und nicht den Besonderheiten Ihres Setups zum Opfer zu fallen, würde ich einfach eine sichere Übertragung sicherstellen, indem ich eine Bucket-Richtlinie wie die unten beschriebene einfüge und eine nicht sichere Übertragung verbiete.

{ 
    "Statement":[ 
     { 
      "Action": "s3:*", 
      "Effect":"Deny", 
      "Principal": "*", 
      "Resource":"arn:aws:s3:::bucketname/*", 
      "Condition":{ 
       "Bool": 
       { "aws:SecureTransport": false } 
      } 
     } 
    ] 
}