spark 2.1.0 Sitzungskonfigurationseinstellungen (pyspark)

Question

Ich versuche, die Sparksession/Spark Kontext Standardkonfigurationen zu überschreiben, aber es ist die gesamte Knoten/Cluster-Ressource auswählen.

spark = SparkSession.builder 
         .master("ip") 
         .enableHiveSupport() 
         .getOrCreate() 

spark.conf.set("spark.executor.memory", '8g') 
spark.conf.set('spark.executor.cores', '3') 
spark.conf.set('spark.cores.max', '3') 
spark.conf.set("spark.driver.memory",'8g') 
sc = spark.sparkContext 

Es funktioniert gut, wenn ich die Konfiguration in Funken einreichen setzen

spark-submit --master ip --executor-cores=3 --diver 10G code.py 

Answer 1

Du eigentlich nichts mit diesem Code zu überschreiben. Nur damit Sie selbst sehen können versuchen Sie folgendes.

Sobald Sie pyspark Shell Art starten:

sc.getConf().getAll() 

Dies zeigt Ihnen alle aktuellen Konfigurationseinstellungen. Dann versuchen Sie Ihren Code und machen Sie es erneut. Nichts verändert sich.

Sie sollten stattdessen eine neue Konfiguration erstellen und diese verwenden, um einen SparkContext zu erstellen. Machen Sie es wie folgt aus:

conf = pyspark.SparkConf().setAll([('spark.executor.memory', '8g'), ('spark.executor.cores', '3'), ('spark.cores.max', '3'), ('spark.driver.memory','8g')]) 
sc.stop() 
sc = pyspark.SparkContext(conf=conf) 

Dann können Sie selbst überprüfen, wie oben mit:

sc.getConf().getAll() 

Damit ist die Konfiguration widerspiegeln sollte man wollte.