Ich konnte eine Spark-Anwendung in IntelliJ Idea erfolgreich ausführen, wenn Master als lokal [*] festgelegt wurde. Wenn ich Master jedoch auf eine separate Instanz von Spark setze, tritt eine Ausnahme auf.Ausführen von Spark in IntelliJ Idea auf Standalone-Cluster mit Master auf demselben Windows-Computer
Die SparkPi App, die ich ausführen möchte, ist unten.
import scala.math.random
import org.apache.spark.SparkContext
import org.apache.spark.SparkConf
/** Computes an approximation to pi */
object SparkPi {
def main(args: Array[String]) {
val conf = new SparkConf().setMaster("spark tjvrlaptop:7077").setAppName("Spark Pi") //.set("spark.scheduler.mode", "FIFO").set("spark.cores.max", "8")
val spark = new SparkContext(conf)
val slices = if (args.length > 0) args(0).toInt else 20
val n = math.max(100000000L * slices, Int.MaxValue).toInt // avoid overflow
for(j <- 1 to 1000000) {
val count = spark.parallelize(1 until n, slices).map { i =>
val x = random * 2 - 1
val y = random * 2 - 1
if (x * x + y * y < 1) 1 else 0
}.reduce(_ + _)
println("Pi is roughly " + 4.0 * count/n)
}
spark.stop()
}
}
Hier ist mein build.sbt Inhalt:
name := "SBTScalaSparkPi"
version := "1.0"
scalaVersion := "2.10.6"
libraryDependencies += "org.apache.spark" %% "spark-core" % "1.6.1"
Hier ist mein plugins.sbt Inhalt:
logLevel := Level.Warn
ich den Spark-Meister und einen Arbeiter mit Hilfe der folgenden Befehle ausgeführt in verschiedenen Eingabeaufforderungen auf demselben Computer.
spark-1.6.1-bin-hadoop2.6\bin>spark-class org.apache.spark.deploy.master.Master --host tjvrlaptop
spark-1.6.1-bin-hadoop2.6\bin>spark-class org.apache.spark.deploy.worker.Worker spark tjvrlaptop:7077
[Der Meister und Arbeiter scheint ohne Probleme und läuft zu sein] [1]
[1]: http i.stack.imgur.com/B3BDZ.png
Weiter Ich habe versucht, das Programm in IntelliJ auszuführen. Es schlägt fehl, nach einer gewissen Zeit mit den folgenden Fehler:
Befehl Promt wo Meister läuft
16/03/27 14:44:33 INFO Master: Registering app Spark Pi 16/03/27 14:44:33 INFO Master: Registered app Spark Pi with ID app-20160327144433-0000 16/03/27 14:44:33 INFO Master: Launching executor app-20160327144433-0000/0 on workerArbeiter-20160327140440-192.168.56.1-52701 16/03/27 14.44: 38 INFO Master: Empfangene Registrierung von der Anwendung abmelden app-20160327144433-0000 16/03/27 14:44:38 INFO Master: App entfernen app-20160327144433-0000 16/03/27 14:44:38 INFO Master: TJVRLAPTOP : 55368 wurde dissoziiert und entfernt. 16/03/27 14:44:38 INFO Master: 192.168.56.1:55350 wurde dissoziiert und entfernt es. 16/03/27 14.44.38 WARN Master: Update Got Status unbekannt Testamentsvollstrecker App-20160327144433-0000/0
Eingabeaufforderung, wo die Arbeiter
16 läuft/03/27 14:44:34 INFO Arbeiter: Gestellt, Executor App-20160327144433-0000/0 für Spark Pi 16/03/27 14:44:34 INFO SecurityManager zu starten: Ändern der Sicht acls: tjoha 16/03/27 14:44:34 INFO SecurityManager: Änderung der Modifikatoren zu: tjoha 16/03/27 14:44:34 INFO SecurityManager: Secu RityManager: Authentifizierung deaktiviert; ui acl deaktiviert; Benutzer mit Ansichtsberechtigungen: Set (tjoha); Benutzer mit ändern Berechtigungen: Set (tjoha) 16/03/27 14:44:34 INFO ExecutorRunner: Starten Sie Befehl: "C-Programme \ Java \ jre1.8.0_77 \ bin \ java" "-cp" "C Benutzer \ tjoha \ Dokumente \ spark-1.6.1-bin-hadoop2.6 \ bin .. \ conf \; C Benutzer \ tjoha \ Dokumente \ spark-1.6.1-bin-hadoop2.6 \ bin .. \ lib \ spark-assembly-1.6.1-hadoop2.6.0.jar; C Benutzer \ tjoha \ Dokumente \ spark-1.6.1-bin-hadoop2.6 \ bin .. \ lib \ datanucleus-api-jdo-3.2.6.jar ; C Benutzer \ tjoha \ Dokumente \ spark-1.6.1-bin-hadoop2.6 \ bin .. \ lib \ datanucleus-core-3.2.10.jar; C Benutzer \ tjoha \ Documents \ spark-1.6.1-bin -hadoop2.6 \ bin .. \ lib \ datanucleus-rdbms-3.2.9.jar " " -Xms1024M "-Xmx1024M" -Dspark.driver.port = 55350 " " org.apache.spark.executor.CoarseGrainedExecutorBackend " " --driver-url "" funke [email protected]: 55350 " " --executor-id "" 0 "" --hostname "" 192.168.56.1 "--cores" "8" "--app-id" "app-20160327144433-0.000" "--worker-url" "spark [email protected]: 52.701" 16/03/27 14.44.38 INFO Worker: gestellte Testamentsvollstrecker zu töten app-20160327144433-0000/0 16/03/27 14:44:38 INFO ExecutorRunner: Runner-Thread für Executor app-20160327144433-0000/0 unterbrochen 16/03/27 14:44:38 INFO ExecutorRunner: Tötungsvorgang ! 16/03/27 14:44:38 INFO Arbeiter: Executor app-20160327144433-0000/0 beendet mit Zustand KILLED exitStatus 1 16/03/27 14:44:38 INFO Arbeiter: Aufräumen lokalen Regie s für die Anwendung App-20160327144433-0000 16/03/27 14:44:38 INFO ExternalShuffleBlockResolver: Anwendung app-20160327144433-0000 entfernt, cleanupLocalDirs = true
IntelliJ Idea Ausgabe
Verwenden von Standard log4j Profil spark: org/apache/Funken/log4j-defaults.properties 16/03/27 15.06.04 INFO SparkContext: Laufen spark-Version 1.6.1 16/03/27 15.06.05 WARN NativeCodeLoader: Kann Native-Hadoop-Bibliothek für Ihren 01 nicht ladenPlattform ... unter Verwendung von Built-in-Java-Klassen wo zutreffend 16/03/27 15:06:05 INFO SecurityManager: Wechseln der Ansicht acls zu: tjoha 16/03/27 15:06:05 INFO SecurityManager: Änderung von acms zu : tjoha 16/03/27 15:06:05 INFO SecurityManager: SecurityManager: Authentifizierung deaktiviert; Benutzer deaktiviert; Benutzer mit Ansichtsberechtigungen: Set (tjoha); Benutzer mit Berechtigungen ändern: Set (tjoha) 16/03/27 15:06:06 INFO Utils: Der Dienst 'sparkDriver' auf Port 56183 erfolgreich gestartet. 16/03/27 15:06:07 INFO Slf4jLogger: Slf4jLogger gestartet 16/03/27 15:06:07 INFO Remoting: Starten von Remoting 16/03/27 15:06:07 INFO Remoting: Remoting gestartet; Abhören von Adressen : [akka tcp [email protected]: 56196] 16/03/27 15:06:07 INFO Utils: erfolgreich gestartet Service "sparkDriverActorSystem" auf Port 56196. 16/03/27 15:06: 07 INFO SparkEnv: Registrierung von MapOutputTracker 16/03/27 15:06:07 INFO SparkEnv: Registrierung BlockManagerMaster 16.03.27 15:06:07 INFO DiskBlockManager: Erzeugtes lokales Verzeichnis unter C Benutzer \ tjoha \ AppData \ Local \ Temp \ blockmgr-9623b0f9-81f5-4a10-bbc7-ba077d53a2e5 16/03/27 15:06:07 INFO MemoryStore: MemoryStore gestartet mit Kapazität 2,4 GB 16/03/27 15:06:07 INFO SparkEnv: Registrierung von OutputCommitCoordinator 16.03.27 15:06:07 WARN Utils: Service 'SparkUI' konnte nicht an Port 4040 binden. Atempti ng Port 4041. 16/03/27 15.06.07 INFO Utils: Erfolgreich gestartet Service 'SparkUI' auf Port 4041. 16/03/27 15.06.07 INFO SparkUI: Gestartet SparkUI unter http 192.168.56.1: 4041 16/03/27 15:06:08 INFO AppClient $ ClientEndpoint: Verbinden mit Master spark tjvrlaptop: 7077 ... 16/03/27 15:06:09 INFO SparkDeploySchedulerBackend: Verbunden mit Spark-Cluster mit App-ID app-20160327150608-0002 16/03/27 15:06:09 INFO AppClient $ ClientEndpoint: Executor hinzugefügt: app-20160327150608-0002/0 auf worker-20160327150550-192.168.56.1-56057 (192.168.56.1:56057) mit 8 Kern 16/03/27 15.06.09 INFO SparkDeploySchedulerBackend: Zugegeben Exekutor ID app-20160327150608-0002/0 auf 0 192.168.56.1:56057 hostportmit 8 Kernen, 1024.0 MB RAM 16/03/27 15:06:09 INFO AppClient $ ClientEndpoint: Executor aktualisiert: app-20160327150608-0002/0 ist jetzt RUNNING 16/03/27 15:06:09 INFO Utils: Erfolgreich gestartet Service 'org.apache.spark.network.netty.NettyBlockTransferService' auf port 56234. 16/03/27 15:06:09 INFO NettyBlockTransferService: Server erstellt am 56234 16/03/27 15:06:09 INFO BlockManagerMaster: Probieren zu Register BlockManager 16/03/27 15:06:09 INFO BlockManagerMasterEndpoint: Registrierung Blockmanager 192.168.56.1:56234 mit 2,4 GB RAM, BlockManagerId (Treiber, 192.168.56.1, 56234) 16/03/27 15:06 : 09 INFO BlockManagerMaster: Registrierter BlockManager 16/03/27 15:06:09 INFO SparkDeploySchedulerBackend: SchedulerBackend ist bereit für Schedul ing beginnend nach erreicht minRegisteredResourcesRatio: 0.0 16/03/27 15:06:10 INFO SparkContext: Start job: reduzieren bei SparkPi.scala: 37 16/03/27 15:06:10 INFO DAGScheduler: Job 0 (reduzieren um SparkPi.scala: 37) mit 20 Ausgabe Partitionen 16/03/27 15:06:10 INFO DAGScheduler: Endstufe: ResultStage 0 (reduzieren bei SparkPi.scala: 37) 16/03/27 15:06 : 10 INFO DAGScheduler: Eltern der letzten Stufe: List() 16/03/27 15:06:10 INFO DAGScheduler: Fehlende Eltern: List() 16/03/27 15:06:10 INFO DAGScheduler: Senden ResultStage 0 (MapPartitionsRDD [1] auf Karte bei SparkPi.scala: 33), die keine Eltern 16/03/27 15:06:10 INFO MemoryStore hat: Block broadcast_0 gespeichert als Werte im Speicher (geschätzte Größe 1880,0 B, frei 1880,0 B) 16.03.27 15:06:10 INFO MemoryStore: Block broadcast_0_piece0 gespeichert als Bytes in Speicher (geschätzte Größe 1212,0 B, frei 3,0 KB) 16/03/27 15:06:10 INFO BlockManagerInfo: Hinzugefügt broadcast_0_piece0 im Speicher auf 192.168.56.1:56234 (Größe: 1212.0 B, frei: 2,4 GB) 16/03/27 15:06:10 INFO SparkContext: Erstellt Broadcast 0 von Sendung an DAGScheduler.scala: 1006 16/03/27 15:06:10 INFO DAGScheduler: Übermittlung von 20 fehlenden Aufgaben von ResultStage 0 (MapPartitionsRDD [1] um Karte bei SparkPi.scala: 33) 16/03/27 15 : 06: 10 INFO TaskSchedulerImpl: Aufgabe 0.0 mit 20 Aufgaben hinzufügen 16.03.27 15:06:14 INFO SparkDeploySchedulerBackend: Registrierter Executor NettyRpcEndpointRef (null) (TJVRLAPTOP: 56281) mit ID 0 16/03/27 15:06:14 INFO TaskSetManager: Aufgabe 0.0 in Stufe 0.0 starten (TID 0, TJVRLAPTOP, Partition 0, PROCESS_LOCAL, 2078 Bytes) 16/03/27 15:06:14
...
TJVRLAPTOP, Trennwand 6, PROCESS_LOCAL, 2078 bytes) 16/03/27 15.06.14 INFO TaskSetManager: Start Aufgabe 7.0 in der Stufe 0.0 (TID 7, TJVRLAPTOP, Partition 7, PROCESS_LOCAL, 2078 Bytes) 16.03.27 15:06:14 INFO BlockManagerMasterEndpoint: Blockmanager registrieren TJVRLAPTOP: 56319 mit 511.1 MB RAM, BlockManagerId (0, TJVRLAPTOP, 56319) 16/03/27 15:06:15 INFO BlockManagerInfo: Hinzugefügt broadcast_0_piece0 im Speicher auf TJVRLAPTOP: 56319 (Größe: 1212.0 B, frei: 511.1 MB) 16/03/27 15:06:15 INFO TaskSetManager: Startaufgabe 8.0 in Stufe 0.0 (TID 8, TJVRLAPTOP, Partition 8, PROCESS_LOCAL, 2078 Bytes) 16/03/27 15:06:15 INFO TaskSetManager: Start Task 9.0 in Stufe 0.0 (TID 9, TJVRLAPTOP, Partition 9, PROCESS_LOCAL, 2078 Bytes) 16/03/27 15:06:15 INFO TaskSetManager: Task 10.0 in der Stufe 0.0 starten (TID 10, TJVRLAPTOP, Partition 10, PROCESS_LOCAL, 2078 Bytes) 16/03/27 15:06: 15 INFO TaskSetManager: Aufgabe 11.0 in Stufe 0 starten.0 (TID 11, TJVRLAPTOP, Trennwand 11, PROCESS_LOCAL, 2078 Bytes) 16/03/27 15:06:15
...
java.lang.ClassNotFoundException: SparkPi $$ anonfun $ main $ 1 $$ anonfun $ 1 bei java.net.URLClassLoader.findClass (Unknown Source) bei java.lang.ClassLoader.loadClass (Unknown Source) bei java.lang.ClassLoader.loadClass (Unknown Source) bei java.lang.Class .forName0 (Native Methode) um java.lang.Class.forName (unbekannte Quelle) um org.apache.spark.serializer.JavaDeserializationStream $$ anon $ 1.resolveClass (JavaSerializer.scala: 68) bei java.io.ObjectInputStream.readNonProxyDesc (Unknown Source) bei java.io.ObjectInputStream.readClassDesc (Unknown Source) bei java.io.ObjectInputStream.readOrdinaryObject (Unknown Source) bei java.io.ObjectInputStream.readObject0 (Unknown Source) bei java.io.ObjectInputStream.defaultReadFields (Unknown Source) bei java.io.ObjectInputStream.readSerialData (Unknown Source) bei java.io.ObjectInputStream.readOrdinaryObject (Unknown Source) bei java.io.ObjectInputStream.readObject0 (Unbekannte Quelle) um java.io.ObjectInputStream.defaultReadFields (Unbekannte Quelle) um java.io.ObjectInputStream.readSerialData (Unbekannte Quelle) um java.io.ObjectInputStream.readOrdinaryObject (unbekannte Quelle) um java.io.ObjectInputStream.readObject0 (Unknown Source) bei java.io.ObjectInputStream.defaultReadFields (Unknown Source) bei java.io.ObjectInputStream.readSerialData (Unknown Source) bei java.io.ObjectInputStream.readOrdinaryObject (Unknown Source) bei java.io.ObjectInputStream.readObject0 (unbekannte Quelle) bei java.io.ObjectInputStream.readObject (unbekannte Quelle) bei org.apache.spark.serializer.JavaDeserializationStream.readObject (JavaSerializer.scala: 76) bei org.apache.spark.serializer.JavaSerializerInstance.deserialize (JavaSerializer.scala: 115) bei org.apache.spark.scheduler.ResultTask.runTask (ResultTask.scala: 61) bei org.apache.spark.scheduler.Task. r un (Task.scala: 89) um org.apache.spark.executor.Executor $ TaskRunner.run (Executor.scala: 214) bei java.util.concurrent.ThreadPoolExecutor.runWorker (unbekannte Quelle) bei java.util .concurrent.ThreadPoolExecutor $ Worker.run (Unbekannte Quelle) bei java.lang.Thread.run (Unbekannte Quelle) 16/03/27 15:06:15 INFO TaskSetManager: Verlorene Aufgabe 5.0 in Stufe 0.0 (TID 5) an Executor TJVRLAPTOP: java.lang.ClassNotFoundException (SparkPi $$ Anonfun $ Haupt $ 1 $$ Anonfun $ 1) [Duplikat 1] 16/03/27 15:06:15 INFO TaskSetManager: Verlorene Aufgabe 3.0 in Stufe 0.0 (TID 3) auf Executor TJVRLAPTOP: java.lang.ClassNotFoundException
...
INFO TaskSetManager: Startaufgabe 10.1 in der Stufe 0.0 (TID 20, TJVRLAPTOP, Trennwand 10, PROCESS_LOCAL, 2078 Bytes) 16/03/27 15:06:15
...
TJVRLAPTOP , Partition 3, PROCESS_LOCAL, 2078 Byte) 16/03/27 15:06:15 INFO TaskSetManager: Verlorene Aufgabe 4.0 in Stufe 0.0 (TID 4) auf Executor TJVRLAPTOP: java.lang.ClassNotFoundException (SparkPi $$ anonfun $ main $ 1 $$ anonfun $ 1) [duplicate 8] 16/03/27 15:06:15 INFO TaskSetManager: Verlorene Aufgabe 12.0 in Stufe 0.0 (TID 12) auf Exekutor TJVRLAPTOP: java.lang.ClassNotFoundException
...
INFO TaskSetManager: Ausgang Aufgabe 2.3 in der Stufe 0.0 (TID 39, TJVRLAPTOP, partition 2, PROCESS_LOCAL, 2078 bytes) 16.03.27 15:06:16 MapOutputTrackerMasterEndpoint gestoppt! 16.03.27 15:06:16 WARN TransportChannelHandler: Ausnahme in Verbindung von TJVRLAPTOP/192.168.56.1: 56281 java.io.IOException: Eine bestehende Verbindung wurde zwangsweise vom Remote-Host geschlossen 16/03/27 15: 06:17 INFO MemoryStore: MemoryStore gelöscht 16/03/27 15:06:17 INFO BlockManager: BlockManager gestoppt 16/03/27 15:06:17 INFO BlockManagerMaster: BlockManagerMaster gestoppt 16/03/27 15:06: 17 INFO OutputCommitCoordinator $ OutputCommitCoordinatorEndpoint: OutputCommitCoordinator gestoppt! 16/03/27 15:06:17 INFO SparkContext: Erfolgreich gestoppt SparkContext 16/03/27 15:06:17 INFO ShutdownHookManager: Shutdown Hook aufgerufen 16/03/27 15:06:17 INFO RemoteActorRefProvider $ RemotingTerminator: Herunterfahren des entfernten Daemons. 16/03/27 15.06.17 INFO ShutdownHookManager: Löschen Verzeichnis C Users \ tjoha \ AppData \ Local \ Temp \ Funken 11f8184f-23fb-43be-91bb-113fb74aa8b9