Fehler beim Erstellen des Spark-Clients: Hive on spark exception

Question

Ich habe meine Hive-Ausführungs-Engine in SPARK geändert. Wenn ich irgendeine DML/DDL mache, bekomme ich eine Ausnahme.

hive> select count(*) from tablename; 
 
Query ID = jibi_john_20160602153012_6ec1da36-dcb3-4f2f-a855-3b68be118b36 
 
Total jobs = 1 
 
Launching Job 1 out of 1 
 
In order to change the average load for a reducer (in bytes): 
 
set hive.exec.reducers.bytes.per.reducer=<number> 
 
In order to limit the maximum number of reducers: 
 
set hive.exec.reducers.max=<number> 
 
In order to set a constant number of reducers: 
 
set mapreduce.job.reduces=<number> 
 
**Failed to execute spark task, with exception 'org.apache.hadoop.hive.ql.metadata.HiveException(Failed to create spark client.)' 
 
**FAILED: Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.spark.SparkTask**** 
 

Answer 1

Eine mögliche Ursache ist, dass Sie einen Timeout-Wert schlagen vor GARN eine ApplicationMaster zuweist. Sie können diesen Zeitüberschreitungswert verlängern, indem Sie hive.spark.client.server.connect.timeout

setzen. Der Standardwert ist 90000ms.

Answer 2

Möglicherweise liegt ein Speicherproblem vor. Versuchen Sie, den Speicher des YARN-Containers so festzulegen, dass er größer ist als Spark Executor Memory + Overhead.

yarn.scheduler.maximum-Allocation-mb yarn.nodemanager.resource.memory-mb