Schreibe Pyspark Datenrahmen in s3 - Fehler beim Aufruf von o135.json

Question

Ich habe einen DataFrame und möchte die Ergebnisse als CSV in meinem s3-Verzeichnis namens meinverzeichnis: s3n: // bucket/home/mydirectory/result.csv

In meinem Verzeichnis habe ich das Recht zu lesen und zu schreiben.

Jedoch habe ich diesen Fehler haben:

File "C:\Users\rubeno\Documents\spark-2.1.0-bin-hadoop2.7\python\lib\py4j-0.10.4-src.zip\py4j\protocol.py", line 319, in get_return_value 
py4j.protocol.Py4JJavaError: An error occurred while calling o135.json. 
: org.apache.hadoop.security.AccessControlException: Permission denied: s3n://bucket/home 

Hier ist mein Code zu schreiben und die df program_watched_by_set_of_box

program_watched_by_set_of_box.write.save(path='s3n://bucket/home/mydirectory/result.csv', 
         format='com.databricks.spark.csv', 
         header='false', 
         nullValue='null', 
         mode='overwrite') 

Thx

Answer 1

Prüfung EMR Konfigurationen zu speichern, wenn fs.s3.enableServerSideEncryption ist auf Wahr setzen Sie können die folgende Option mit emr create-custer

--configurations '[{"Classification":"emrfs-site","Properties":{"fs.s3.enableServerSideEncryption":"true"},"Configurations":[]}]' 

einstellen