Unable Funken thrift Server in Google-Cloud-Dataproc

Question

das ich habe Schwierigkeiten beim Starten des thrift Servers für die Funken SQL in Port 10010 in Google-Cloud Dataproc Cluster zu starten, schlägt mit dem folgenden Fehler, Kann jemand bitte helfen?, Ich habe versucht, die Portnummer immer noch nicht zu ändern.

sudo -u funken HIVE_SERVER2_THRIFT_PORT = 10010 /usr/lib/spark/sbin/start-thriftserver.sh

Hier das Protokoll ist:

16/11/30 23:47:16 INFO org .apache.hive.service.AbstractService: Dienst: ThriftBinaryCLIService wird gestartet. 16/11/30 23:47:16 INFO org.apache.hive.service.AbstractService: Service: HiveServer2 wird gestartet. 16/11/30 23:47:16 FEHLER org.apache.hive.service.cli.thrift.ThriftCLIService: Fehler beim Starten von HiveServer2: konnte nicht gestartet werden ThriftBinaryCLIService org.apache.thrift.transport.TTransportException: ServerSocket konnte nicht erstellt werden Adresse 0.0.0.0/0.0.0.0:10002. bei org.apache.thrift.transport.TServerSocket. (TServerSocket.java:109) bei org.apache.thrift.transport.TServerSocket. (TServerSocket.java:91) bei org.apache.thrift.transport.TServerSocket. (TServerSocket.java:87) bei org.apache.hive.service.auth.HiveAuthFactory.getServerSocket (HiveAuthFactory.java:241) bei org.apache.hive.service.cli.thrift.ThriftBinaryCLIService.run (ThriftBinaryCLIService.java : 66) bei java.lang.Thread.run (Thread.java:745) 16/11/30 23:47:16 INFO org.apache.hive.service.server.HiveServer2: Herunterfahren HiveServer2 16/11/30 23:47:16 INFO org.apache.hive.service.AbstractService: Dienst: ThriftBinaryCLIService wird beendet. 16/11/30 23:47:16 INFO org.apache.hive.service.AbstractService: Service: OperationManager wird gestoppt. 16/11/30 23:47:16 INFO org.apache.hive.service.AbstractService: Service: SessionManager wird gestoppt. 16/11/30 23:47:16 INFO org.apache.hive.service.AbstractService: Service: CLIService wird beendet. 16/11/30 23.47.16 INFO org.apache.hive.service.AbstractService: Service: HiveServer2 wird

gestoppt

Answer 1

Ich bin mir nicht ganz sicher, warum das nicht funktioniert hat, aber ich würde empfehlen apt-get install spark-thriftserver läuft stattdessen.

Der Server ist standardmäßig so konfiguriert, dass er auf Port 10002 läuft (wie in Ihrem Fall versucht wurde), aber Sie können dies in spark-env.sh ändern.

Es ist auch erwähnenswert, dass ein Thrift Server mit einer AppMaster und Testamentsvollstrecker einen kleinen Cluster füllen kann, oder durch eine anderen kleinen Funkenjob abgeblockt.