Garn - Funke parallelen Job

Question

Ich machte Garn-Cluster, die nur 1 Arbeitsknoten hat, und es scheint gut zu funktionieren, wenn ich meine Funken Anwendung Job einreichen. Wenn ich einen Auftrag mehr als einen übergebe, befinden sich die Jobs in der Warteschlange des Hadoops und verarbeiten die eingereichten Anwendungen nacheinander. Ich möchte meine Anwendungen parallel bearbeiten, nicht eins nach dem anderen. Gibt es dafür eine Konfiguration? oder nicht in der Lage, dies auf Garn zu tun?

Answer 1

Yarn übergibt Jobs standardmäßig einzeln nacheinander. Für einreichen mehrere Jobs können Sie Betrag Ihrer Testamentsvollstrecker Kerne ändern:

spark-submit class /jar --executor-memory 2g --num-executors 15 --executor-cores 3 --master yarn --deploy-mode cluster 

Sie auch diese Eigenschaften in Ihrem Garn-site.xml ändern