Kann nicht gestartet werden SparkR in RStudio

Question

Nach langen und schwierigen Installationsprozess von SparkR ich in neue Probleme beim Starten von SparkR.

Meine Einstellungen

R 3.2.0  
RStudio 0.98.1103  
Rtools 3.3  
Spark 1.4.0 
Java Version 8 
SparkR 1.4.0 
Windows 7 SP 1 64 Bit 

Jetzt versuche ich folgenden Code in R zu verwenden:

library(devtools) 
library(SparkR) 
Sys.setenv(SPARK_MEM="1g") 
Sys.setenv(SPARK_HOME="C:/spark-1.4.0") 
sc <- sparkR.init(master="local") 

Ich erhalte folgende:

JVM is not ready after 10 seconds 

Ich habe versucht, auch einige Systemvariablen hinzufügen wie Funkenpfad oder Java-Pfad.

Haben Sie irgendwelche Ratschläge für mich, um diese Probleme zu beheben.

Der nächste Schritt für mich nach dem Testen des lokalen Hosts wäre, Tests auf meinem laufenden Hadoop-Cluster zu starten.

Answer 1

Ich denke, es war ein Fehler, der jetzt gelöst wurde. die folgenden Versuchen,

Sys.setenv(SPARK_HOME="C:\\spark-1.4.0") 

.libPaths(c(file.path(Sys.getenv("SPARK_HOME"), "R", "lib"), .libPaths())) 

library("SparkR", lib.loc="C:\\spark-1.4.0\\lib") # The use of \\ is for windows environment. 

library(SparkR) 

sc=sparkR.init(master="local") 

java starten mit Funken einreichen Befehl C:\spark-1.4.0/bin/spark-submit.cmd sparkr-shell

C:\Users\Ashish\AppData\Local\Temp\RtmpWqFsOB\backend_portbdc329477c6

Hoffnung, das hilft.

Answer 2

Ich hatte das gleiche Problem und meine spark-submit.cmd Datei wurde auch nicht von der Befehlszeile ausgeführt. Die folgenden Schritte funktionierten für mich

Gehen Sie zu Ihren Umgebungsvariablen und wählen Sie in den Systemvariablen den Variablennamen PATH. Zusammen mit anderen Werten fügen Sie c:/Windows/System32/ getrennt durch ein Semikolon hinzu. Dies führte dazu, dass meine spark-submit.cmd von der Befehlszeile und schließlich vom Rstudio lief.

Ich habe festgestellt, dass wir das obige Problem nur erhalten, wenn alle erforderlichen Pfadwerte nicht angegeben sind. Stellen Sie sicher, dass alle Pfadwerte (R, Rtools) in den Umgebungsvariablen angegeben sind. Zum Beispiel war mein Rtools Weg c:\Rtools\bin;c:\Rtools\gcc-4.6.3\bin

Ich hoffe, dass dies hilft.

Answer 3

Das hat nicht für mich funktioniert. Wenn jemand das gleiche Problem hat, versuchen Sie, Ausführungsberechtigungen für c: /sparkpath/bin/spark-submit.cmd zu erteilen.

Answer 4

Ich hatte genau dasselbe Problem. Ich kann SparkR in der Befehlszeile aber nicht in RStudio in Windows starten. Und hier funktioniert die Lösung für mich.

1. bereinigen Sie alle Pfade, die Sie festgelegt haben, als Sie versuchten, dieses Problem zu beheben. Dies schließt die Pfade ein, die Sie in der Windows-Umgebung über das Fenstersteuerfeld festlegen, und verwendet Sys.unsetenv(), um SPARK_HOME zu deaktivieren.

2. Finden Sie Ihr RStudio Standard Arbeitsverzeichnis mit getwd() in RStudio. Erstellen Sie dann eine .Rprofile-Datei in diesem Verzeichnis. Fügen Sie folgende Zeile in diese Datei ein: .libPaths ("C: /Apache/Spark-1.5.1/R/lib ")

3. Im Fenster Systemsteuerung-> System-> Erweiterte Systemeinstellungen-> Umgebungsvariablen, fügen Sie diese"; C: \ Apache \ Spark-1.5.1 \ bin "am Ende von Ihre exsiting PATH-Variable.

4. starten RStudio, wenn Sie .libPaths() eingeben, können Sie die SparkR Bibliothekspfad ist bereits in der Bibliothek Pfad

5. Verwendung Bibliothek (SparkR) sehen SparkR Bibliothek

zu laden

6. sc = sparkR.init (Master = "lokal")

Ich habe dies sowohl auf Spark 1.4.1 und 1.5.1 versucht, beide funktionieren gut. Ich hoffe, das kann denen helfen, die nach dem oben genannten Vorschlag noch immer Probleme haben.

Answer 5

Ich hatte ein ähnliches Problem. In meinem Fall war das Problem mit dem Bindestrich ('-').
durch Änderung des Codes:

sc <- sparkR.init(master = "local[*]",sparkPackages = c("com.databricks:spark-csv_2.11-1.4.0")) 

zu:

sc <- sparkR.init(master = "local[*]",sparkPackages = c("com.databricks:spark-csv_2.11:1.4.0")) 

für mich gearbeitet. Bemerken Sie die Veränderung?

P. S .: Haben Sie das Glas in Ihrem SPARK_HOME \ lib-Ordner kopieren

Edit 1: Überprüfen Sie auch, dass Sie Ihre "HADOOP_HOME" konfiguriert haben

Hoffnung, das hilft.

Answer 6

Die folgende Lösung funktioniert für Mac OS.

Nach der Installation von Hadoop gefolgt von Spark.

spark_path <- strsplit(system("brew info apache-spark",intern=T)[4],' ')[[1]][1] # Get your spark path .libPaths(c(file.path(spark_path,"libexec", "R", "lib"), .libPaths())) library(SparkR

Answer 7

Ich hatte auch diesen Fehler, aus einer anderen Ursache. Unter der Haube ruft Spark

system2(sparkSubmitBin, combinedArgs, wait = F) 

Es gibt viele Möglichkeiten, dass dies schief gehen kann. In meinem Fall wurde der zugrunde liegende Fehler (unsichtbar bis zum Aufruf system2 direkt als Experiment) "UNC-Pfad nicht unterstützt." Ich musste mein Arbeitsverzeichnis in R Studio in ein Verzeichnis wechseln, das nicht Teil einer Netzwerkfreigabe war, und dann