Fehler bei der Analyse Parameter, amazon aws emr

Ich versuche, einen Schritt für Linux-Konsole zu erstellen:Fehler bei der Analyse Parameter, amazon aws emr

aws emr add-steps --cluster-id j-XXXXXXXXXX --steps Type=CUSTOM_JAR,Name="S3DistCp step",Jar=/home/hadoop/lib/emr-s3distcp-1.0.jar,\ 
Args=["--s3Endpoint,s3-eu-west-1.amazonaws.com","--src,s3://folder-name/logs/j-XXXXXXXXXX/node/","--dest,hdfs:///output","--srcPattern,.*[a-zA-Z,]+"]

ich folgende Fehlermeldung

Fehler bei der Analyse Parameter springen '--steps': Erwartete : ',', empfangen: '+' für Eingabe

Wie kann ich es beheben?

Ich bin auf der Suche nach einer Lösung zum Hochladen mehrerer Dateien auf S3 und S3DistCp die Hive sammeln für Amazon EMR. Gibt es einen anderen Weg?

Ich habe eine andere Frage: Jetzt erstelle ich einen SSH-Tunnel zur Verbindung mit Hive, wie ich mit PHP verbinden könnte?

Im Moment habe ich durch Entfernen „src Pattern“ den Fehler behoben haben, gibt mir aber einen weiteren Fehler, ich schließen Bild unten

Image error

Dies ist der Fehler, der

erscheint

INFO Synchronously wait child process to complete : hadoop jar /var/lib/aws/emr/step-runner/hadoop- 
INFO waitProcessCompletion ended with exit code 1 : hadoop jar 
/var/lib/aws/emr/step-runner/hadoop- 
INFO total process run time: 2 seconds 
2016-07-12T14:26:48.744Z INFO Step created jobs: 
2016-07-12T14:26:48.744Z WARN Step failed with exitCode 1 and took 2 seconds

Thx !!!

Quelle

2016-07-12 David

der Fehler-Analyse seltsam ist, haben Sie versucht, die Optionen in einer JSON-Datei zu setzen und den Befehl mit der Datei Json rufen statt nur um zu sehen, ob es hilft –

Hallo Frederic, ich muss arbeiten entfernen "src Pattern", jetzt bekomme ich einen weiteren Fehler, der nicht wirklich ist wie in Amazon nicht angegeben (ich über das Bild aufsteigen) – David

Versuchen Sie, die JSON-Konfiguration

[ 
    { 
     "Name":"S3DistCp step", 
     "Args":["s3-dist-cp","--s3Endpoint=s3.amazonaws.com","--src=s3://mybucket/logs/j-3GYXXXXXX9IOJ/node/","--dest=hdfs:///output","--srcPattern=.*[a-zA-Z,]+"], 
     "ActionOnFailure":"CONTINUE", 
     "Type":"CUSTOM_JAR", 
     "Jar":"command-runner.jar"   
    } 
]

aws emr add-steps --cluster-id j-3GYXXXXXX9IOK --steps file://./myStep.json

http://docs.aws.amazon.com/emr/latest/ReleaseGuide/UsingEMR_s3distcp.html#UsingEMR_s3distcp.step

Quelle

2017-06-04 00:00:43 strongjz

Fehler bei der Analyse Parameter, amazon aws emr

Antwort

Verwandte Themen