Wie finde ich das Installationsverzeichnis von Spark?

Question

Ich möchte spark-env.sh ändern. Wie finde ich das Installationsverzeichnis in ubuntu ??

Ich schaute in der Benutzeroberfläche, aber nichts gefunden.

whereis spark 

Ergebnis: spark:

Hier ist das Protokoll für den Befehl lokalisieren lokalisieren Funken

/home/sys6002/.netbeans/8.0.2/apache-tomcat-8.0.15.0_base/temp/spark-ba1ea995-b959-43f4-ab6c-7d9f1ee5fcc1/blockmgr-db3a931b-7f1a-423e-b5da-b75a958a1909/11 
/home/sys6002/.netbeans/8.0.2/apache-tomcat-8.0.15.0_base/temp/spark-ba1ea995-b959-43f4-ab6c-7d9f1ee5fcc1/blockmgr-db3a931b-7f1a-423e-b5da-b75a958a1909/13 
/home/sys6002/.netbeans/8.0.2/apache-tomcat-8.0.15.0_base/temp/spark-ba1ea995-b959-43f4-ab6c-7d9f1ee5fcc1/httpd-16b4313e-72dc-4665-b4ac-df491869386d/files 
/home/sys6002/.netbeans/8.0.2/apache-tomcat-8.0.15.0_base/temp/spark-ba1ea995-b959-43f4-ab6c-7d9f1ee5fcc1/httpd-16b4313e-72dc-4665-b4ac-df491869386d/jars 
/home/sys6002/Desktop/diff spark hadoop.png 
/home/sys6002/Desktop/sparkmain 
/home/sys6002/Downloads/learning-spark-master.zip 
/home/sys6002/Downloads/mongo-spark-master 
/home/sys6002/Downloads/spark-1.5.1 
/home/sys6002/Downloads/spark-1.5.1-bin-hadoop2.6 
/home/sys6002/Downloads/spark-1.5.1-bin-hadoop2.6 (2) 
/home/sys6002/Downloads/spark-1.5.1-bin-hadoop2.6.tgz 
/home/sys6002/Downloads/spark-1.5.1-bin-without-hadoop 
/home/sys6002/Downloads/spark-cassandra-connector-master 
/home/sys6002/Downloads/spark-core_2.9.3-0.8.0-incubati 
home/sys6002/anaconda3/pkgs/odo-0.3.2-np19py34_0/lib/python3.4/site-packages/odo/backends/tests/__pycache__/test_sparksql.cpython-34.pyc 
/home/sys6002/spark-example/a.txt 
/home/sys6002/spark-example/a.txt~ 
/home/sys6002/spark-example/pom.xml 
/home/sys6002/spark-example/pom.xml~ 
/home/sys6002/spark-example/src 
/home/sys6002/spark-example/src/main 
/home/sys6002/spark-example/src/test 
/home/sys6002/spark-example/src/main/java 
/home/sys6002/spark-example/src/main/java/com 
/home/sys6002/spark-example/src/main/java/com/geekcap 
/home/sys6002/spark-example/src/main/java/com/geekcap/javaworld 
/home/sys6002/spark-example/src/main/java/com/geekcap/javaworld/App.java 
/home/sys6002/spark-example/src/main/java/com/geekcap/javaworld/WordCount.java~ 
/home/sys6002/spark-example/src/main/java/com/geekcap/javaworld/sparkexample 
/home/sys6002/spark-example/src/main/java/com/geekcap/javaworld/sparkexample/WordCount.java 
/home/sys6002/spark-example/src/main/java/com/geekcap/javaworld/sparkexample/WordCount.java~ 

/home/sys6002/spark-example/src/test/java/com/geekcap/javaworld/AppTest.java 
/usr/share/app-install/desktop/lightspark:lightspark.desktop 
/usr/share/app-install/desktop/sparkleshare:sparkleshare-invite-opener.desktop 
/usr/share/app-install/desktop/sparkleshare:sparkleshare.desktop 

Answer 1

Sie können diese beiden Befehle versuchen:

1. locate spark

2. whereis spark

lokalisieren - Für jedes Muster gegeben, suchen Sie sucht eine oder mehrere Datenbanken von Dateinamen und zeigt die Dateinamen, die das Muster enthalten. Muster können Shell-Stil Metazeichen enthalten: "", "?" Und "[]". Die Metazeichen behandeln nicht '/' oder '.' speziell. Daher kann ein Muster 'foo bar' einen Dateinamen mit 'foo3/bar' und ein Muster 'duck' mit einem Dateinamen übereinstimmen, der 'lake/.ducky' enthält. Muster, die Metazeichen enthalten, sollten in Anführungszeichen gesetzt werden, um sie vor der Erweiterung durch die Shell zu schützen.

whereis lokalisiert Quelle/Binär- und Handbücher Abschnitte für angegebene Dateien. Die angegebenen Namen werden zuerst von führenden Pfadnamen Komponenten und jeder (einzelnen) abschließenden Erweiterung der Form .ext für Beispiel, .c. Präfixe von s. resultierend aus der Verwendung der Quellcode-Kontrolle werden auch behandelt. whereis versucht dann, das gewünschte Programm in einer Liste von Standard-Linux-Orten zu lokalisieren.

Answer 2

Warum benötigen Sie das Home-Verzeichnis von Spark überhaupt? Sie müssen nicht unbedingt eine lokale Installation von Spark haben, um Spark-Anwendungen auszuführen. Sie benötigen eine lokale Installation des Spark-Pakets, um Spark Standalone zu verwenden oder es über YARN- oder Mesos-Cluster zu verteilen. Dies scheint jedoch nicht der Fall zu sein.

Sie brauchen Gläser und die Spark-Standardeinstellungen werden den Rest erledigen.

Sie können die Webbenutzerschnittstelle anzeigen, da diese beim Erstellen einer SparkContext-Instanz standardmäßig aktiviert ist.

Alles in allem ist Spark in dem Projekt, das Sie als ein Bündel von Gläsern entwickeln, und wenn Ihre Spark-Anwendung startet, erstellt es einen SparkContext, der abhängig von Ihrer Master-URL eine Verbindung zur Laufzeitumgebung herstellt.

Umgebungsvariablen in spark-env.sh können einfach mit SparkContext eingestellt werden.

Answer 3

Dank Jacek habe ich festgestellt, dass Spark nicht in meinem Rechner installiert ist und ich nur die Funkenbibliotheken in meinem Projekt verwendet habe.

Um mehr hinzuzufügen, um Funke-Anwendung in Java-Projekt zu starten, müssen Sie nicht notwendigerweise apache spark, scala und pyspark.

Inklusive Gläser machen Ihren Job

getan

Answer 4

Dies gilt auch für mich gearbeitet:

cd $SPARK_HOME

Es wird Sie in das Verzeichnis, in dem Funken installiert wurde, wenn die Umgebungsvariable gesetzt ist.