Ich betreibe Spark2 von Zeppelin (0.7 in HDP 2.6) und ich mache eine IDF-Transformation, die nach vielen Stunden abstürzt. Es wird auf einem Cluster mit einem Master und drei Datenknoten ausgeführt: s1, s2 und s3. Alle Knoten haben einen Spark2-Client und jeder hat 8 Kerne und 16 GB RAM.Warum läuft Spark2 nur auf einem Knoten?
Ich habe gerade festgestellt, es läuft nur auf einem Knoten, S3, mit 5 Executoren.
In zeppelin-env.sh habe ich zeppelin.executor.instances-32 und zeppelin.executor.mem bis 12g gesetzt und es hat die Zeile:
export MASTER=yarn-client
I yarn.resourcemanager.scheduler.class-org.apache.hadoop.yarn.server.resourcemanager.scheduler.fair.FairScheduler gesetzt haben.
Ich habe auch spark.executor.instances auf 32 im Spark2-Interpreter gesetzt.
Wer hat irgendwelche Ideen, was ich sonst noch versuchen kann, um die anderen Knoten ihren Anteil zu bekommen?