Wie reiche ich ein Spark-Glas zu einem EMR-Cluster ein?

Ich habe die Online-AWS-Konsole verwendet, um meinen Cluster zusammen mit Apache Spark zu starten. Ich habe ein fettes Glas basierend auf meiner Spark App und ich habe es in einen S3 Eimer geladen. Wenn ich versuche, es als Step with a Custom Jar zu senden, schlägt der Prozess fehl. Alle Hinweise würden sehr geschätzt werden.Wie reiche ich ein Spark-Glas zu einem EMR-Cluster ein?

Quelle

2015-03-04 dataker

Verwenden EMR bootstrap to install Spark und den Job übergeben, wie in der Dokumentation beschrieben: https://github.com/awslabs/emr-bootstrap-actions/blob/master/spark/examples/spark-submit-via-step.md

Quelle

2015-03-04 17:57:38

Vielen Dank für Ihre Eingabe. Wie auch immer, meine aws-cli-Ausgaben gibt es keine add-steps-Methode. Sollte ich seinen Ruby-Client verwenden? – dataker

Die Dokumentation verwendet Standard-aws CLI, die diese Methode hat: http://docs.aws.amazon.com/cli/latest/reference/emr/index.html Sie können entweder den alternativen Befehl, den Sie in Ihrer CLI haben falls vorhanden, oder aktualisieren Sie die neueste Version der Standard-CLI-Implementierung. –

Ich habe es! Danke vielmals – dataker

Wie reiche ich ein Spark-Glas zu einem EMR-Cluster ein?

Antwort

Verwandte Themen