Livy - Server Limit Anzahl der Jobs

Question

Ich bin auf der Suche nach einer Konfiguration, um meine Livy Server auf nicht mehr als X Kerne oder Anzahl der Jobs zu begrenzen, sah ich, dass jemand bereits in den Jira Fragen (https://issues.cloudera.org/browse/LIVY-74), und er wurde darauf geantwortet, dass Garn das macht, aber ich brauche kein Garn, da ich meine Jobs/Sitzungen pro Benutzer nicht kontrollieren will und ich außer Funke keine anderen Ressourcen zu verwalten habe.

Answer 1

Sie können diese Eigenschaften als Beispiel nehmen:

livy.spark.driver.cores 1 
livy.spark.driver.memory 512m 
livy.spark.dynamicAllocation.cachedExecutorIdleTimeout 
livy.spark.dynamicAllocation.enabled true 
livy.spark.dynamicAllocation.initialExecutors 1 
livy.spark.dynamicAllocation.maxExecutors 5 
livy.spark.dynamicAllocation.minExecutors 1 
livy.spark.executor.cores 2 
livy.spark.executor.instances 5 
livy.spark.executor.memory 2G