spark-submit auf ibm bluemix

Question

Ich habe gerade eine kostenlose Instanz von "Analitycs für Apache Spark" registriert und folgte dieser tutorial, um Spark Submission ibm ad hoc entworfen Skript zu verwenden, um eine App von meinem lokalen Rechner auf bluemix Cloud-Cluster zu betreiben. Das Problem ist folgende: Ich habe everithing gemacht, die in der Anleitung beschrieben wurden und zu Mittag gegessen dieses Skripts

./spark-submit.sh --vcap ./vcap.json --deploy-mode cluster --master 
https://spark.eu-gb.bluemix.net --files /home/vito/vinorosso2.csv 
--conf spark.service.spark_version=2.2.0 
/home/vito/workspace_2/sbt-esempi/target/scala-2.11/isolationF3.jar 
--class progettoSisDis.MasterNode 

alles geht in Ordnung (Dataset vinorosso2.csv und meine fatJar richtig hochgeladen), bis das Terminal sais:“Unterwerfung vollständig“an dieser Stelle, wenn ich in die Protokolldatei von dem Skript erstellt dorthin gehen diese Fehlermeldung lautet:

Submit job result: Invalid plan and spark version combination in HTTP request (ibm.SparkService.PayGoPersonal, 2.0.0)

Submission ID: ERROR: Problem submitting job. Exit

So war es nicht genug, um eine freie Instanz Analitycs für apache Funke registrieren um einen Funken einreichen Job? Hoffe jemand kann helfen. Übrigens, wenn es hilft, verwende ich auf meinem lokalen Rechner Funken mit intellij Idee (scala). Byyye

Answer 1

Von https://console.bluemix.net/docs/services/AnalyticsforApacheSpark/index-gentopic2.html#using_spark-submit müssen Sie Spark Version 1.6.x oder 2.0.x verwenden. Ihr Sendejob ist auf Version 2.2.0 eingestellt. Versuchen Sie es mit spark.service.spark_version=2.0.0 (vorausgesetzt, Ihr Code wird mit dieser Version von Spark funktionieren).