Ich bin neu in Sparklyr und ziemlich neu für R. Ich versuche herauszufinden, ob ich sparkly auf meinem lokalen RStudio laufen und mit einem Apache Funf-Cluster im Netzwerk verbinden kann . Alle Blog-Beispiele sprechen davon, RStudio Server direkt auf dem Apache-Funf-Cluster zu betreiben. Kann jemand prüfen, ob das möglich ist?Verwenden von Sparklyr auf lokalen RStudio mit einem Apache-Cluster
Ja, das sollte möglich sein. Zuerst - stellen Sie sicher, dass Ihr Cluster von Ihrem lokalen PC aus zugänglich ist. Wenn ja, gehen Sie zur Spark Master Webkonsole Ihres Spark-Clusters (IP-Adresse: 8080), um die URL des Masters zu erhalten ("spark: // ...").
library(sparklyr)
# Set your SPARK_HOME path
Sys.setenv(SPARK_HOME="path/to/spark_home")
config <- spark_config()
# Optionally you can modify config parameters here
sc <- spark_connect(master = "spark://paste_your_spark_master_url:7077", spark_home = Sys.getenv("SPARK_HOME"), config = config)
# Some test code, copying data to Spark cluster
iris_tbl <- copy_to(sc, iris)
flights_tbl <- copy_to(sc, nycflights13::flights, "flights")
batting_tbl <- copy_to(sc, Lahman::Batting, "batting")
src_tbls(sc)
Sie können auch versuchen, Spark lokal auszuführen. Folgen Sie einfach den Anweisungen auf der Webseite von Sparklyer: http://spark.rstudio.com/. Verwenden Sie vielleicht nur eine neuere Spark-Version (z. B. 2.0.2).
Wahrscheinlich möchten Sie Livy verwenden, es sei denn, Ihr Laptop befindet sich physisch in der Nähe Ihres Clusters. Siehe https://github.com/rstudio/sparklyr#connecting-through-livy.