Schließen Sie Sparklyr an Remote-Funkverbindung an

Question

Ich möchte meine lokale Desktop-RStudio-Sitzung mit einer Remote-Spark-Sitzung über Sparklyn verbinden. Wenn Sie in RStudio eine neue Verbindung auf der Registerkarte Sparklyr hinzufügen und Cluster auswählen wählen, müssen Sie auf dem Cluster ausgeführt werden oder eine Verbindung mit hoher Bandbreite zum Cluster haben.

Kann jemand herausfinden, wie man diese Art von Verbindung herstellt? Ich bin nicht sicher, wie reproduzierbar Beispiel dafür zu schaffen, aber im Allgemeinen, was ich möchte, ist tun:

library(sparklyr) 
sc <- spark_connect(master = "spark://ip-[MY_PRIVATE_IP]:7077", spark_home = "/home/ubuntu/spark-2.0.0", version="2.0.0") 

von einem entfernten Server. Ich verstehe, dass es Latenz geben wird, besonders wenn versucht wird, Daten zwischen den Fernbedienungen zu übertragen. Ich verstehe auch, dass es besser wäre, den ersten Server auf dem eigentlichen Cluster zu haben - aber das ist nicht immer möglich, und ich suche nach einer Sparkling-Option für die Interaktion zwischen meinem Server und meiner Desktop-RStudio-Sitzung. Vielen Dank.

Answer 1

Ab sparklyr Version 0.4 wird die Verbindung vom RStudio-Desktop zu einem Remote-Spark-Cluster nicht unterstützt. Stattdessen empfehlen wir die Installation von RStudio Server im Spark-Cluster.

Die livy branch in sparklyr untersucht Integration mit Livy, die den RStudio-Desktop eine Verbindung zu einem Remote-Spark-Cluster über Livius ermöglichen würde.