Funken Heapgröße Fehler sogar RAM sind 32 GB und JAVA_OPTIONS = -Xmx8g

-1

Ich habe 32 GB physischen memoryand meine Eingabe Dateigröße ca. 30 MB, ich versuche, meinen Funken Job in Garn-Client-Modus mit dem folgenden BefehlFunken Heapgröße Fehler sogar RAM sind 32 GB und JAVA_OPTIONS = -Xmx8g

einreichen

spark-submit --master yarn --packages com.databricks:spark-xml_2.10:0.4.1 --driver-memory 8g ericsson_xml_parsing_version_6_stage1.py

und mein Testamentsvollstrecker Raum ist 8g, aber bekommen die folgenden Fehler jemand bitte helfen Sie mir die Java-Heap-Speicher zu konfigurieren. Ich habe gelesen über die - Treiber-Java-Optionen über die Befehlszeile, aber ich weiß nicht, wie Java-Heap-Speicher mit dieser Option gesetzt wird.

jemand bitte helfen Sie mir.

java.lang.OutOfMemoryError: Java heap space

enter image description here

Quelle

2017-03-07 Jayabal

Dies könnte helfen Sie http://stackoverflow.com/questions/21138751/spark-java-lang-outofmemoryerror-java-heap-space – BruceWayne

Haben Sie versucht, als auch Testamentsvollstrecker Speicher zu konfigurieren? wie folgt aus: „--executor-Speicher 8g“

Quelle

2017-03-07 08:16:34 Hlib

ja, ich verwendet habe, das unten auch, aber der selbe Fehler existiert. funken einreichen --master Garn --packages com.databricks: Funken xml_2.10: 0.4.1 --driver-Speicher 8g --executor-Speicher 8gericsson_xml_parsing_version_6_stage1.py – Jayabal

als vielleicht in der Tat Sie nicht genug Platz haben. Die Größe der Eingabedatei von 30 MB garantiert nicht, dass RDDs 1000 Mal mehr Speicherplatz benötigen. – Hlib

Ich weiß nicht, wie ich dieses Problem beheben kann. Bitte geben Sie Anregungen, um es zu beheben. – Jayabal

Funken Heapgröße Fehler sogar RAM sind 32 GB und JAVA_OPTIONS = -Xmx8g

Antwort

Verwandte Themen