kann nicht erstellt werden aws emr cluster mit enable-debugging

Question

Ich bin nicht in der Lage, erstellen aws emr-Cluster, wenn ich den Befehl "--enable-debugging" Ich bin in der Lage, den Cluster ohne Enable-Debugging-Befehl erstellen. Erste Fehler wie: aws: Fehler: ungültige json Argument für die Option --configurations

mein Skript-Cluster zu erstellen ist:

aws emr create-cluster \ 
    --name test-cluster \ 
    --release-label emr-5.5.0 \ 
    --instance-groups  InstanceGroupType=MASTER,InstanceCount=1,InstanceType=m3.xlarge InstanceGroupType=CORE,InstanceCount=1,InstanceType=m3.xlarge \ 
    --no-auto-terminate \ 
    --termination-protected \ 
    --visible-to-all-users \ 
    --use-default-roles \ 
    --log-uri s3://testlogs/ \ 
    --enable-debugging \ 
    --tags Owner=${OWNER} Environment=Dev Name=${OWNER}-test-cluster \ 
    --ec2-attributes KeyName=$KEY,SubnetId=$SUBNET \ 
    --applications Name=Hadoop Name=Pig Name=Hive \ 
    --security-configuration test-sec-config \ 
    --configurations s3://configurations/mapreduceconfig.json 

mapreduceconfig.json Datei ist:

[ 
{ 
    "Classification": "mapred-site", 
    "Properties": { 
     "mapred.tasktracker.map.tasks.maximum": 2 
    } 
}, 
{ 
    "Classification": "hadoop-env", 
    "Properties": {}, 
    "Configurations": [ 
     { 
     "Classification": "export", 
     "Properties": { 
      "HADOOP_DATANODE_HEAPSIZE": 2048, 
      "HADOOP_NAMENODE_OPTS": "-XX:GCTimeRatio=19" 
     } 
     } 
    ] 
} 
] 

Answer 1

Nun, Der Fehler ist offensichtlich. --configurations Option unterstützt S3:// Dateisystem nicht. Gemäß den Beispielen und der Dokumentation http://docs.aws.amazon.com/cli/latest/reference/emr/create-cluster.html

Es unterstützt nur file:// und eine direkte öffentliche Verbindung zu einer Datei in S3. wie https://s3.amazonaws.com/myBucket/mapreduceconfig.json

Also, Ihre Konfigurationen müssen öffentlich sein.

Nicht sicher, wie Sie es ohne --enable-debugging Befehl funktionierten.