Sie müssen Spark erstellen, bevor Sie diesen Programmfehler ausführen, wenn Sie bin/pyspark starten

Ich beginne mit Spark.Sie müssen Spark erstellen, bevor Sie diesen Programmfehler ausführen, wenn Sie bin/pyspark starten

Ich bekomme ein Problem beim Starten von Funken.

ich von Funken offiziellen Website heruntergeladen, ich versuche, von diesem https://spark.apache.org/docs/0.9.0/quick-start.html

ich heruntergeladen haben Quickstart Setup sparkhome, und wenn ich ./pyspark von bin-Verzeichnis ausgeführt wird versucht, erhalte ich diese Fehlermeldung:.

[email protected]:~/Downloads/spark-1.5.0/bin$ sudo ./pyspark 
[sudo] password for soundarya: 
ls: cannot access /home/soundarya/Downloads/spark-1.5.0/assembly/target/scala-2.10: No such file or directory 
Failed to find Spark assembly in /home/soundarya/Downloads/spark-1.5.0/assembly/target/scala-2.10. 
You need to build Spark before running this program. 
[email protected]:~/Downloads/spark-1.5.0/bin$

Kann mir jemand helfen, das herauszufinden?

Quelle

2015-11-09 Soundarya Thiagarajan

Wenn Sie die Quelldistribution verwenden möchten, müssen Sie zunächst Spark erstellen. Details finden Sie in der Building Spark.

Ansonsten laden Sie einfach eine binäre Distribution (wählen Sie vordefinierte) von Downloads:

Auch veraltete Dokumentation nicht verwenden. Sie können entweder die neuesten verwenden:

http://spark.apache.org/docs/latest

oder versionsspezifische

http://spark.apache.org/docs/1.5.0

Quelle

2015-11-09 08:40:45 zero323

Hallo, vielen Dank für Ihre Antwort. Ich habe es versucht. 15/11/09 14:28:03 FEHLER NettyTransport: Fehler beim Binden an/192.168.0.109,0, Herunterfahren Netty-Transport 15/11/09 14:28:03 ERROR SparkContext: Fehler beim Initialisieren von SparkContext. java.net.BindException: Fehler beim Binden an: /192.168.0.109: Der Dienst 'sparkDriver' ist nach 16 Versuchen fehlgeschlagen! py4j.protocol.Py4JJavaError: Beim Aufruf von None.org.apache.spark.api.java.JavaSparkContext ist ein Fehler aufgetreten. : java.net.BindException: Fehler beim Binden an: /192.168.0.109: Der Dienst 'sparkDriver' ist nach 16 Versuchen fehlgeschlagen! –

Ich habe spark-1.5.0-bin-hadoop2.4/bin heruntergeladen –

Was ist in Ihrer Datei conf/spark-env.sh? Hast du zuerst versucht, eine Funkenschale zu öffnen? (bin/func-shell) – AkhlD

Laden Sie die Pre-Build-Version von Funken wie zero323 vorgeschlagen. Außerdem ist es nicht empfehlenswert, Spark im Sudo-Modus auszuführen.

Quelle

2015-11-09 09:02:45 AkhlD

Hallo, ich habe versucht, das Herunterladen wie vorgeschlagen: spark-1.5.0-bin-hadoop2.4 (Prebuild-Version) .. aber immer noch habe ich mit Fehlern gehalten .. OpenJDK 64-Bit-Server-VM-Warnung: INFO: os :: commit_memory (0x00000007d5500000, 716177408, 0) fehlgeschlagen; error = 'Speicher kann nicht zugeordnet werden' (errno = 12) # # Es ist nicht genügend Speicher vorhanden, damit Java Runtime Environment fortgesetzt werden kann. # Die native Speicherzuweisung (malloc) konnte 716177408 Byte für das Festschreiben von reserviertem Speicher nicht zuordnen. # Eine Fehlerberichtdatei mit weiteren Informationen wird gespeichert als: # /home/soundarya/Downloads/spark-1.5.0/hs_err_pid18440.log –

Wie viel Speicher haben Sie auf Ihrem Computer? Es ist ein JVM Heap Fehler und hat nichts mit Funken zu tun. Sie können versuchen, die Dateien spark.driver.memory und spark.executor.memory in der Datei conf/spark-defaults.conf festzulegen. Oder führen Sie einfach einen Export _JAVA_OPTIONS = -Xmx1g von Ihrem Terminal aus. – AkhlD

Ich habe exportiert _JAVA_OPTIONS = -Xmx1g; Abgerufen _JAVA_OPTIONS: -Xmx1g raise Exception ("Java-Gateway-Prozess beendet, bevor der Treiber seine Portnummer gesendet hat") Ausnahme: Java-Gateway-Prozess beendet, bevor der Treiber seine Portnummer gesendet wurde >>> # Es gibt nicht genügend Speicher für die Java Runtime Environment um fortzufahren. –

Sie müssen Spark erstellen, bevor Sie diesen Programmfehler ausführen, wenn Sie bin/pyspark starten

Antwort

Verwandte Themen