PySpark: java.lang.OutOfMemoryError: Java Heap-Speicher

Question

Ich habe mit PySpark mit IPython in letzter Zeit auf meinem Server mit 24 CPUs und 32 GB RAM. Es läuft nur auf einer Maschine. In meinem Prozess möchte ich riesige Menge an Daten sammeln, wie unten Code geben ist:

train_dataRDD = (train.map(lambda x:getTagsAndText(x)) 
.filter(lambda x:x[-1]!=[]) 
.flatMap(lambda (x,text,tags): [(tag,(x,text)) for tag in tags]) 
.groupByKey() 
.mapValues(list)) 

Als ich

tun

training_data = train_dataRDD.collectAsMap() 

Es gibt mir outOfMemory Fehler. Java heap Space. Außerdem kann ich nach diesem Fehler keine Operationen auf Spark ausführen, da es die Verbindung mit Java verliert. Es gibt Py4JNetworkError: Cannot connect to the java server.

Es sieht so aus, als wäre der Heap-Speicher klein. Wie kann ich größere Grenzen setzen?

EDIT:

Dinge, die ich vor der Ausführung versucht: sc._conf.set('spark.executor.memory','32g').set('spark.driver.memory','32g').set('spark.driver.maxResultsSize','0')

änderte ich die Funken Optionen gemäß der Dokumentation hier (wenn Sie ctrl-f tun und für spark.executor.extraJavaOptions suchen): http://spark.apache.org/docs/1.2.1/configuration.html

Es sagt, dass ich OOMs vermeiden kann, indem ich spark.executor.memory Option einstelle. Ich habe das Gleiche gemacht, aber es scheint nicht zu funktionieren.

Answer 1

Nach Belastungen von Konfigurationsparametern versuchen, fand ich, dass es nur eine Notwendigkeit, mehr Heap Raum geändert werden soll, und spark.driver.memory das heißt zu ermöglichen.

sudo vim $SPARK_HOME/conf/spark-defaults.conf 
#uncomment the spark.driver.memory and change it according to your use. I changed it to below 
spark.driver.memory 15g 
# press : and then wq! to exit vim editor 

Schließen Sie Ihre vorhandene Spark-Anwendung und führen Sie sie erneut aus. Sie werden diesen Fehler nicht erneut auftreten. :)