Spark Cassandra Anwendung schlägt mit RECEIVED SIGNAL 15: SIGTERM

Ich bin eine Funken-Anwendung mit Funken-Cassandra-Connector ausgeführt.Spark Cassandra Anwendung schlägt mit RECEIVED SIGNAL 15: SIGTERM

Die folgenden sind meine Funken einreichen Optionen

--Klasse com.mobi.vserv.driver.Query5kPids1
--num-Testamentsvollstrecker 4
--executor-Speicher 4g
- Vollstrecker-Kern 2
--driver-Speicher 4g

Aber ich erhalte die folgenden Fehler

16/03/30 11:57:07 FEHLER executor.CoarseGrainedExecutorBackend: Treiber 10.225.46.84:60637 disociated! Herunterfahren.

Auch wird die cassandra verbunden und dann disconnecd wird

INFO Cluster: New Cassandra host /10.229.84.123:9042 added 

INFO LocalNodeFirstLoadBalancingPolicy: Added host 10.229.84.123 (us-east) 

INFO Cluster: New Cassandra host /10.229.19.210:9042 added -> This is Seed Node 
(This Message -> INFO LocalNodeFirstLoadBalancingPolicy: Doesnt show for Seed Node) 

INFO Cluster: New Cassandra host /10.95.215.249:9042 added 

INFO LocalNodeFirstLoadBalancingPolicy: Added host 10.95.215.249 (us-east) 

INFO Cluster: New Cassandra host /10.43.182.167:9042 added 

INFO LocalNodeFirstLoadBalancingPolicy: Added host 10.43.182.167 (us-east) 

INFO Cluster: New Cassandra host /10.155.34.67:9042 added 

INFO LocalNodeFirstLoadBalancingPolicy: Added host 10.155.34.67 (us-east) 

INFO Cluster: New Cassandra host /10.237.235.209:9042 added 

INFO LocalNodeFirstLoadBalancingPolicy: Added host 10.237.235.209 (us-east) 

INFO CassandraConnector: Connected to Cassandra cluster: dmp Cluster 

INFO CassandraConnector: Disconnected from Cassandra cluster: dmp Cluster

Und schließlich Yarn Beseitigt die Anwendung Master

ERROR ApplicationMaster: ERHALTEN SIGNAL 15: SIGTERM

I auch hinzugefügt

--conf spark.yarn.executor.memoryOverhead = 1024
--conf spark.yarn.driver.memoryOverhead = 1024

Aber dann hält die Anwendung läuft für immer.

Ich weiß nicht, was das Problem hier zu sein scheint, als vor der Anwendung ran und es lief

erfolgreich

POM ist

<dependency> 
    <groupId>org.apache.spark</groupId> 
    <artifactId>spark-core_2.10</artifactId> 
    <version>1.6.0</version> 
    </dependency> 

    <dependency> 
    <groupId>com.datastax.spark</groupId> 
    <artifactId>spark-cassandra-connector_2.10</artifactId> 
    <version>1.4.0-M1</version> 
    </dependency> 

    <dependency> 
    <groupId>com.datastax.cassandra</groupId> 
    <artifactId>cassandra-driver-core</artifactId> 
    <version>2.1.6</version> 
    </dependency> 

    <dependency> 
    <groupId>com.datastax.spark</groupId> 
    <artifactId>spark-cassandra-connector-java_2.10</artifactId> 
    <version>1.4.0-M1</version> 
    </dependency>

Quelle

2016-03-30 Rahul Koshaley

die Lösung gefunden, da es ein Fehler mit Funken Cassandra war -connector 1.4.0-M1 wie hier erwähnt https://datastax-oss.atlassian.net/browse/SPARKC-214

Also wenn ich das nächste Release dh 1.4.0-M2 verwendet. Es hat gut funktioniert.

Aber immer noch, was am seltsamsten zu sein scheint, hat dies früher mit 1.4.0-M1 gearbeitet.

Quelle

2016-03-30 14:13:05

Spark Cassandra Anwendung schlägt mit RECEIVED SIGNAL 15: SIGTERM

Antwort

Verwandte Themen