Ich bin Funke auf meiner lokalen Windows-Maschine ausgeführt. Es funktioniert vollkommen in Ordnung, wenn ich Master als Local setze, aber wenn ich es einem Cluster-Master-URI gebe, löst es die folgende Ausnahme für jeden Executor aus, den es initiiert.
17/10/05 17:27:19 INFO StandaloneAppClient$ClientEndpoint: Executor updated: app-20171005172719-0006/0 is now FAILED (java.lang.IllegalStateException: Library directory 'C:\Spark\bin\.\assembly\target\scala-2.10\jars' does not exist; make sure Spark is built.)
Ich habe Funke Standalone Umgebung lokal getestet. Also habe ich einen Masterknoten und einen Arbeiterknoten gestartet und die Master-URL meinem Treiberprogramm gegeben. Ich stellte sicher, dass meine Umgebungsvariable SPARK_HOME auf C:\Spark (der Ort, an dem ich meinen Funken platzierte) gesetzt wurde.
Jede Hilfe bei der Lösung dieses Problems wäre dankbar, Danke.Executors sind fehlgeschlagen in Spark-Standalone-Bereitstellung
0
A
Antwort
0
Ich irgendwie gelang es, die Lösung für dieses Problem zu finden. Das Problem wird durch die Pfadvariable von spark home verursacht. Es wurde nicht (Umgebungsvariable) ausgewählt, wenn ich eine Pfadvariable %SPARK_HOME%\bin hinzugefügt habe. Ich habe dann diese Umgebungsvariable und die Pfadvariable entfernt, sie erneut hinzugefügt und mein System neu gestartet. ES FUNKTIONIERTE.
Verwandte Themen
- 1. Was sind Workers, Executors, Cores im Spark Standalone-Cluster?
- 2. Executors Zeitplan in verschiedenen Intervallen
- 3. Spark Worker und Executors Kerne
- 4. MATLAB Beispiele sind fehlgeschlagen
- 5. Spark-Executors auf Zeppelin erhöhen
- 6. Python-Nasetests sind fehlgeschlagen
- 7. Spark Executors RAM und Dateigröße
- 8. Spark Streaming 1.6.0 - Executors Bouncing
- 9. Wie viele Jenkins Executors können Sie haben?
- 10. Git-Pull-Anforderungen sind fehlgeschlagen
- 11. Reihenfolge der Nachrichten mit Spark Executors
- 12. Executors oder Threads halten Programm vom Herunterfahren
- 13. Spark Executors hängen nach nicht genügend Speicher
- 14. Java Executors Service für einen festen Pool
- 15. Spark Standalone Anzahl Executors/Cores Control
- 16. Ist Leerlauf Thread CPU-Ausführungszeit in Java Executors?
- 17. Export-Excel fehlgeschlagen, geschweifte Klammern sind falsch?
- 18. Load Test alle Anfragen sind fehlgeschlagen
- 19. Sizeof in Vorlage fehlgeschlagen, obwohl alle Typen definiert sind
- 20. LDA-Verarbeitung fehlgeschlagen mit "Variablen sind kollinear." Fehler in Python
- 21. Funktioniert Spark auf Garn mit Datenlokalität beim Starten von Executors
- 22. Java Executors: Wie kann ich Task-Priorität festlegen?
- 23. Executors nicht mit Jenkins auf Google Container Engine
- 24. Java Executors: Wie kann ich übergebene Aufgaben stoppen?
- 25. FEHLER: Die gesamte Bereitstellung ist fehlgeschlagen, weil zu viele einzelne Instanzen fehlgeschlagen sind.
- 26. So erzwingen Sie Visual Studio Build fehlgeschlagen, nachdem Komponententests fehlgeschlagen sind
- 27. Ansible 2.2 Cisco ios-Module sind mit der Meldung fehlgeschlagen "fehlgeschlagen Verbindung zum Host über ssh"
- 28. AngularJS - Fehlgeschlagen 'belebter' auf 'Element' auszuführen: Teil Keyframes sind nicht
- 29. Login fehlgeschlagen mit behath auch die Feldnamen sind korrekt
- 30. .NET-Projekt Nunit-Tests sind während Mono-Build fehlgeschlagen
Können Sie den genauen Spark-Submit-Befehl mit Argumenten teilen? –
spark-submit --class SparkApp --master spark: // {IP}: 7077 "D: \ work \ Beispiele \ SparkExample \ target \ SparkExample-0.0.1-SNAPSHOT.jar" – Rakesh
Bitte fügen Sie Ihren Code und Spark- Befehl senden –