Erstellen Sie die Core-Dateien von Funken

Question

Nur

So arbeite ich an Apache Spark, da ich Spark-2.1.0 mit Scala verwenden möchten 2.10.6 ich den folgenden Befehl bin mit Funken Here

./build/mvn -Pyarn -Phadoop-2.4 -Dscala-2.10 -DskipTests clean package 

bauen gefunden Ich arbeite daran, einige Änderungen für mein Projekt an den Spark-Core-Dateien vorzunehmen (hauptsächlich SparkContext.scala). Jedes Mal, wenn ich etwas ändere, muss ich den Funken mithilfe des oben angegebenen Befehls neu aufbauen, was ziemlich viel Zeit in Anspruch nimmt. Selbst wenn ich einen einfachen Druck hinzufüge, muss ich es noch einmal neu aufbauen. Obwohl tun scheint so zu arbeiten, wie meine Änderungen sichtbar sind, wenn ich meine Funken Anwendung mit dem Befehl ausführen

spark-submit --master local[*] --driver-memory 256g --class main.scala.TestMain target/scala-2.10/spark_proj-assembly-1.0.jar 

Jetzt sagt der Link Funken können Sie Module bauen, und ich finden Sie online den folgenden Befehl der Funkenkern zu bauen nur ,

/build/mvn -pl core clean package -DskipTests -Dscala-2.1 

und es scheint, als Funken zu arbeiten stellt den Kern und zeigt mir Fehler, wenn ich welche haben, aber wenn ich meine Anwendung ausführen, ich sehe nicht, die Änderungen zur Laufzeit, keine Drucke I Show haben nicht oder irgendwelche Operationen, die ich anwende, sind auch nicht dort. Es ist wie mein Programm verwendet immer noch die Version von Spark, bevor ich nur die Kerndateien erstellen. Obwohl es scheint, dass der gesamte Funke funktioniert.

Kann mir jemand hier helfen, wie in was falsch, warum nur der Kern funktioniert nicht richtig funktioniert, oder verwende ich den falschen Befehl, wenn ja kann mir jemand sagen, wie genau nur die Kerndateien

bauen

Answer 1

./build/mvn -Pyarn -Phadoop-2.4 -Dscala-2.10 -DskipTests clean package

jedes Mal, wenn ich einige Änderungen vornehmen ich Funken mit dem Befehl oben angegebenen wieder aufbauen müssen, die, wenn Sie nur

beträchtliche Menge an Zeit in Anspruch nimmt sind Nehmen Sie inkrementelle Änderungen vor, lassen Sie die "saubere" Phase nach dem ersten Build aus. Einschließlich es verursacht Maven die gesamte Code-Basis wieder aufzubauen, während, wenn Sie nicht tun

./build/mvn -Pyarn -Phadoop-2.4 -Dscala-2.10 -DskipTests package 

dann Maven nur neu kompiliert und neu Paket Ihre aktualisierten Dateien.