Ich habe spark-submit verwendet, um meine Codes auf dem Multi-Knoten-System zu testen. (Natürlich habe ich die Master-Option als Master-Server-Adresse angegeben, um eine Umgebung mit mehreren Knoten zu erreichen). Anstatt jedoch spark-submit zu verwenden, möchte ich Spark-Shell verwenden, um meine Codes auf dem Cluster-System zu testen. Wie kann ich Cluster-Einstellungen für mehrere Knoten auf der Spark-Shell konfigurieren?Wie man Multi-Knoten auf der Spark-Shell ausführen?
Ich denke, dass nur die Verwendung von Spark-Shell ohne Änderung der Einstellungen im lokalen Modus führt.
Ich habe versucht, die Informationen zu suchen und folgte den folgenden Befehlen.
scala> sc.stop()
...
scala> import org.apache.spark.{SparkContext, SparkConf}
import org.apache.spark.{SparkContext, SparkConf}
scala> val sc = new SparkContext(new SparkConf().setAppName("shell").setMaster("my server address"))
...
scala> import org.apache.spark.sql.SQLContext
import org.apache.spark.sql.SQLContext
scala> val sqlContext = new SQLContext(sc)
sqlContext: org.apache.spark.sql.SQLContext = [email protected]
Aber ich bin mir ziemlich sicher, dass ich richtiges Verhalten für das Multi-Node-Cluster-Setup unter Verwendung von Funken Shell tue.