Spark SQL 1.5 Buildfehler

Ich habe Spark 1.5 auf Ubuntu 14.04 LTS installiert. Wenn mit dem Befehl ausgeführt bauen build/mvn -Dscala-2.11 -DskipTests clean package erhalte ich die Fehler SQL während der Projektfunken folgenden Aufbau:Spark SQL 1.5 Buildfehler

[error] missing or invalid dependency detected while loading class file 'WebUI.class'. 
     [error] Could not access term eclipse in package org, 
     [error] because it (or its dependencies) are missing. Check your build definition for 
     [error] missing or conflicting dependencies. (Re-run with `-Ylog-classpath` to see the problematic classpath.) 
     [error] A full rebuild may help if 'WebUI.class' was compiled against an incompatible version of org. 
     [error] missing or invalid dependency detected while loading class file 'WebUI.class'. 
     [error] Could not access term jetty in value org.eclipse, 
     [error] because it (or its dependencies) are missing. Check your build definition for 
     [error] missing or conflicting dependencies. (Re-run with `-Ylog-classpath` to see the problematic classpath.) 
     [error] A full rebuild may help if 'WebUI.class' was compiled against an incompatible version of org.eclipse. 
     [warn] 22 warnings found 
     [error] two errors found 
     [error] Compile failed at Sep 18, 2015 6:09:38 PM [17.330s] 
     [INFO] ------------------------------------------------------------------------ 
     [INFO] Reactor Summary: 
     [INFO] 
     [INFO] Spark Project Parent POM ........................... SUCCESS [ 6.723 s] 
     [INFO] Spark Project Core ................................. SUCCESS [03:07 min] 
    ... 
     [INFO] Spark Project Catalyst ............................. SUCCESS [ 58.166 s] 
     [INFO] Spark Project SQL .................................. FAILURE [ 19.912 s] 
     [INFO] Spark Project Hive ................................. SKIPPED 
     [INFO] Spark Project Unsafe ............................... SKIPPED 
... 
     [INFO] ------------------------------------------------------------------------ 
     [INFO] BUILD FAILURE 
     [INFO] ------------------------------------------------------------------------

Hier unten meine env Variablen in der Datei .bashrc

export JAVA_HOME=/usr/lib/jvm/java-1.7.0-openjdk-amd64 

export SCALA_HOME=/usr/local/src/scala/scala-2.11.7 
export PATH=$SCALA_HOME/bin:$PATH 
export PATH=/home/ubuntu/apache-maven-3.3.3/bin:$PATH 

export SPARK_HOME=/home/ubuntu/spark-1.5.0 
export MAVEN_OPTS="-Xmx2g -XX:MaxPermSize=512M -XX:ReservedCodeCacheSize=512m"

Update: versucht, mit -Ylog-Classpath laufen hat, aber nicht:

Unable to parse command line options: Unrecognized option: -Ylog-classpath

Quelle

2015-09-18 guzu92

ich den gleichen Fehler beim Versuch, zu build spark 1.5 on 2.11, Es gibt einen Hinweis auf der Building Spark-Seite (http://spark.apache.org/docs/1.5.0/building-spark.html) "Spark unterstützt seine JDBC-Komponente für Scala 2.11 noch nicht . " das könnte verwandt sein. –

@Angelo: Sie haben Recht, ich habe die Option -Dscala-2.11 im Befehl weggelassen und Build war erfolgreich. Vielen Dank ! – guzu92

Wenn Sie nicht das SQL-Modul verwenden, könnten Sie es wahrscheinlich einfach aus dem Pom der obersten Ebene kommentieren und neu erstellen. Ich habe das aber noch nicht getestet, also YMMV. –

Angelo Genovese Kommentar siehe, nicht enthalten -Dscala-2.11 in Build-Befehl.

Quelle

2015-09-21 07:45:38 guzu92

Wenn Sie nicht speziell funken SQL braucht, dann nur SQL bezogene Module von Build ausschließen:

mvn clean package -Dscala-2.11 -DskipTests -pl '!sql/core,!sql/catalyst,!sql/hive'

Quelle

2015-11-18 02:05:29 Utgarda

Nur ./dev/change-scala-version.sh 2.11 von Ihrem Funken Verzeichnis laufen den gesamten Code auf 2,11 zu wechseln. Führen Sie dann mvn (3.3.3+) oder make-distribution.sh mit Ihren gesetzten Flags.

Quelle

2015-11-25 19:58:12

-1

Dieses Build-Problem kann behoben werden, indem zuerst die scala-Version von 2.10 auf 2.11 geändert wird, indem der Befehl 'change-scala-version.sh' ausgeführt wird, der sich unter @funken-1.6.1/dev/change-scala-version.sh 2.11 befindet

Siehe den untenstehenden Link für detaillierte Informationen. http://gibbons.org.uk/spark-on-windows-feb-2016

Quelle

2016-05-18 12:16:47 user3027745

Ich stieß auf dieses Problem auch in einem Projekt, das ich in IntelliJ von einem Maven pom.xml importiert hatte. Mein Kollege hat mir geholfen, herauszufinden, dass, obwohl <scope>runtime</scope> für die meisten Abhängigkeiten in Ordnung ist, ist diese besondere Abhängigkeit <scope>compile</scope> sein muss (aus Gründen, die wir nicht verstehen):

<dependency> 
    <groupId>org.scala-lang</groupId> 
    <artifactId>scala-reflect</artifactId> 
    <version>${scala.version}</version> 
    <scope>compile</scope> 
</dependency>

Quelle

2016-08-01 17:23:00

Spark SQL 1.5 Buildfehler

Antwort

Verwandte Themen