SparkR Fehler in sparkR.init (master = "local") in RStudio

Question

Ich habe das SparkR-Paket von Spark Distribution in die R-Bibliothek installiert. Ich kann den folgenden Befehl aufrufen und es scheint, richtig zu arbeiten: library(SparkR)

Allerdings, wenn ich versuchen, den Spark-Kontext bekommen Sie den folgenden Code verwenden,

sc <- sparkR.init(master="local") 

Es schlägt fehl, nach einiger Zeit mit der folgenden Meldung:

Error in sparkR.init(master = "local") : 
    JVM is not ready after 10 seconds 

ich habe set JAVA_HOME, und ich habe eine Arbeits RStudio, wo ich andere Pakete wie ggplot2 zugreifen können. Ich weiß nicht, warum es nicht funktioniert, und ich weiß nicht einmal, wo ich das Problem untersuchen soll.

Answer 1

Ich hatte das gleiche Problem und meine spark-submit.cmd Datei wurde auch nicht von der Befehlszeile ausgeführt. Die folgenden Schritte funktionierten für mich

Gehen Sie zu Ihren Umgebungsvariablen und wählen Sie in den Systemvariablen den Variablennamen PATH. Zusammen mit anderen Werten fügen Sie c:/Windows/System32/ getrennt durch ein Semikolon hinzu. Dies führte dazu, dass meine spark-submit.cmd von der Befehlszeile und schließlich vom Rstudio lief.

Ich habe festgestellt, dass wir das obige Problem nur erhalten, wenn alle erforderlichen Pfadwerte nicht angegeben sind. Stellen Sie sicher, dass alle Pfadwerte (R, Rtools) in den Umgebungsvariablen angegeben sind. Zum Beispiel war mein Rtools Weg c:\Rtools\bin;c:\Rtools\gcc-4.6.3\bin

Ich hoffe, dass dies hilft.

Answer 2

Versuchen Sie, Ausführungsberechtigungen C: /sparkpath/bin/spark-submit.cmd zu geben. Das hat für mich funktioniert.

Answer 3

Ich habe genau die gleiche Fehlermeldung erhalten. Mein Fall ist ein bisschen anders, da ich SparkR in RStudio erfolgreich zuvor ausgeführt habe. Aber nach ein paar Tagen funktioniert es nicht mehr.

Mit Blick auf die Umwandlung zwischen Shivaram Venkataraman und Prakash Ponshankaarchinnusamy, erkannte ich, dass dies etwas mit laufender Erlaubnis zu tun haben kann.

https://issues.apache.org/jira/browse/SPARK-8603

Also, was ich habe, das funktioniert schließlich, ist, dass, entpacken ich die Funken tar.gz meinen C:/Ordner erneut (vorher wird es in D gehalten:/Fahrt) und SparkR WORKS! !!

screenshot of working RStudio

Answer 4

Nach Hadoop von Spark gefolgt installieren.

spark_path <- strsplit(system("brew info apache-spark",intern=T)[4],' ')[[1]][1] # Get your spark path .libPaths(c(file.path(spark_path,"libexec", "R", "lib"), .libPaths())) library(SparkR