Kann nicht Antrag im Code funken Cluster

Question

Mein Code ist:

SparkSession spark = SparkSession.builder().appName("plzzzz").master("local[*]").getOrCreate(); 
Dataset<Row> dataset = spark.read().format("libsvm").load("/home/ceny/tools/123.txt"); 
KMeans kmeans = new KMeans().setK(2).setSeed(1L); 
KMeansModel model = kmeans.fit(dataset);//this line is 20 

Der Fehler ist:

16/12/19 00:08:49 WARN KMeans: The input data was not directly cached, which may hurt performance if its parent RDDs are also uncached. 
Exception in thread "main" java.lang.NoSuchMethodError: scala.reflect.api.JavaUniverse.runtimeMirror(Ljava/lang/ClassLoader;)Lscala/reflect/api/JavaMirrors$JavaMirror; 
    at org.apache.spark.ml.clustering.KMeansModel.transform(KMeans.scala:124) 
    at org.apache.spark.ml.clustering.KMeans.fit(KMeans.scala:326) 
    at Test.main(Test.java:20) 
    at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method) 
    at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:57) 
    at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43) 
    at java.lang.reflect.Method.invoke(Method.java:606) 
    at com.intellij.rt.execution.application.AppMain.main(AppMain.java:140) 

Mein build.gradle ist:

compile group: 'org.scala-lang', name: 'scala-reflect', version: '2.11.8' 
compile group: 'org.apache.spark', name: 'spark-core_2.11', version: '2.0.2' 
compile group: 'org.apache.spark', name: 'spark-sql_2.11', version: '2.0.2' 
compile group: 'org.apache.spark', name: 'spark-mllib_2.10', version: '2.0.2' 

Meine Umgebung ist:

Funken Version: 2.0.2

scala-Version: 2.11.8

Beschreibung:

Ich versuche Code unten in IDEA auszuführen, erscheint Fehler. Wenn ich es als JAR verpacke, dann sende es in termial, alles ist in Ordnung.

Während, wenn ich SparkSubmit.main() verwenden, um das Glas nach Code zu übermitteln, wird der Fehler weiterhin angezeigt.

Was soll ich jetzt tun?

Answer 1

Sie benötigen die gleiche Scala-Version für alle Artefakte. Es sollte sein:

compile group: 'org.apache.spark', name: 'spark-mllib_2.11', version: '2.0.2'