Wo meldet sich der Spark bei EMR an?

Question

Ich bin nicht in der Lage, Fehlerprotokolle oder Nachrichten von println Anrufe in Scala beim Ausführen von Jobs auf Spark in EMR zu finden.

Wo kann ich auf diese zugreifen?

ich Absenden der Spark job, geschrieben in Scala zu EMR mit script-runner.jar mit Argumenten --deploy-mode auf cluster und --master Satz zu yarn. Es macht den Job gut.

aber ich sehe meine nicht println Aussagen in der Amazon EMR UI wo es listet „stderr, stdout etc. Furthermore if my job errors I don't see why it had an error. All I see is this in the stderr`:

15/05/27 20:24:44 INFO yarn.Client: Application report from ResourceManager: 
application identifier: application_1432754139536_0002 
appId: 2 
clientToAMToken: null 
appDiagnostics: 
appMasterHost: ip-10-185-87-217.ec2.internal 
appQueue: default 
appMasterRpcPort: 0 
appStartTime: 1432758272973 
yarnAppState: FINISHED 
distributedFinalState: FAILED 
appTrackingUrl: http://10.150.67.62:9046/proxy/application_1432754139536_0002/A 
appUser: hadoop 

`

Answer 1

Mit dem Deploy-Modus von Cluster auf Garn befindet sich der Spark-Treiber und damit der Benutzercode innerhalb des Application-Master-Containers. Es scheint, als ob Sie das EMR-Debugging im Cluster aktiviert hätten, also sollten die Protokolle auch auf S3 übertragen worden sein. Im S3-Standort siehe task-attempts/<applicationid>/<firstcontainer>/*.

Answer 2

Wenn Sie Ihren Job mit emr-bootstrap einreichen Sie das Protokoll angeben Verzeichnis als s3 Bucket mit --log-uri

Answer 3

Wenn Sie SSH in den Master-Knoten Ihres Clusters, dann sollten Sie in der Lage sein, die Stdout, Stderr, Syslog ein finden d controller loggt unter: