Fehler beim Ausführen eines Python-Jobs im DSE 4.8 Spark-Cluster.

Ich habe gerade ein seltsames Problem mit Spark (pyspark) auf DSE-Cluster 4.8. Aus irgendeinem Grund, wenn der Job ausgeführt wird, habe ich einige Fehler, wie unten beschrieben. Weiß jemand irgendeinen Weg, diesen Fehler irgendwie zu schließen?Fehler beim Ausführen eines Python-Jobs im DSE 4.8 Spark-Cluster.

Ich verwende den dse spark-submit Befehl.

ERROR 2016-04-04 12:49:21,305 org.apache.spark.scheduler.cluster.SparkDeploySchedulerBackend: Asked to remove non-existent executor 747 
ERROR 2016-04-04 12:49:21,305 org.apache.spark.scheduler.cluster.SparkDeploySchedulerBackend: Asked to remove non-existent executor 748 
ERROR 2016-04-04 12:49:21,347 org.apache.spark.scheduler.cluster.SparkDeploySchedulerBackend: Asked to remove non-existent executor 749 
ERROR 2016-04-04 12:49:21,388 org.apache.spark.scheduler.cluster.SparkDeploySchedulerBackend: Asked to remove non-existent executor 750

Quelle

2016-04-04 jguerra

Ok, es scheint ein Speicherproblem. Grundsätzlich, wenn der Executor Speicher ausläßt, beginnen die Fehler zu erscheinen. – jguerra

Als ich diese Meldung „Auf die Frage nicht existent Testamentsvollstrecker entfernen“, dass der Vollstrecker aus einem anderen Grund abgestürzt bedeutet und so offensichtlich funken sie nicht töten kann. Sehen Sie sich die Executor-Protokolle an, um herauszufinden, warum es abgestürzt ist.

Es ist auch möglich, dass Sie ein Netzwerkproblem haben und Ihr Treiber und Executor nicht kommunizieren können. Habe diese Nachricht auch in diesem Fall gesehen.

Quelle

2016-04-04 17:13:03 phact

Ich sehe viele dieser Fehler: # Es ist nicht genug Speicher vorhanden, damit Java Runtime Environment fortgesetzt werden kann. # Die native Speicherzuweisung (mmap) konnte 3579314176 Bytes zum Festschreiben von reserviertem Speicher nicht zuordnen. # Eine Fehlerberichtdatei mit weiteren Informationen wird gespeichert unter: # /cassandra/data/spark/worker/worker-0/app-20160404163740-0012/725/hs_err_pid3930.log. Ich würde einen Einrichtungshinweis schätzen, ps. Danke – jguerra

Dies ist auch die Ausgabe des stderr: Java HotSpot (TM) 64-Bit-Server VM Warnung: INFO: os :: commit_memory (0x0000000680000000, 3579314176, 0) fehlgeschlagen; error = 'Speicher kann nicht zugewiesen werden' (errno = 12) – jguerra

Fehler beim Ausführen eines Python-Jobs im DSE 4.8 Spark-Cluster.

Antwort

Verwandte Themen