Was ist die einfache und Schritt für Schritt Anleitung für die Installation von Apache Funken 2.0 in Ubuntu (16.04) lokalen Rechner zugegriffen mit Python (Pyspark). Ich habe versucht, Web zu suchen, die meisten von ihnen enden in dem einen oder anderen Fehler.installieren Sie Apache Funke auf Ubuntu für pyspark
Courtesy: https://www.santoshsrinivas.com/installing-apache-spark-on-ubuntu-16-04/
ich meine Schritte hier schreibe, wie ich sah, wenige Schritte sind anders als erwartet (zumindest für ubuntu 16.04)
Also hier sind die Schritte
Schritt 1:
Laden Sie die neueste vorkonfigurierte Version von http://spark.apache.org/downloads.html
Schritt 2: Dekomprimieren und Funken
cd ~/Downloads/
tar xzvf spark-2.0.1-bin-hadoop2.7.tgz
mv spark-2.0.1-bin-hadoop2.7/ spark
sudo mv spark/ /usr/lib/
Schritt 3 bewegen: Installieren SBT
echo "deb https://dl.bintray.com/sbt/debian /" | sudo tee -a /etc/apt/sources.list.d/sbt.list
sudo apt-key adv --keyserver hkp://keyserver.ubuntu.com:80 --recv 2EE0EA64E40A89B84B2DF73499E82A75642AC823
sudo apt-get update
sudo apt-get install sbt
Hinweis: - Sie könnten einige Probleme in diesem Schritt haben. Bitte beachten Sie den Link am Ende.
Schritt 4: stellen Sie sicher, dass Java installiert ist. configure bash-Datei: wenn nicht
sudo apt-add-repository ppa:webupd8team/java
sudo apt-get update
sudo apt-get install oracle-java8-installer
Schritt 5:
JAVA_HOME=/usr/lib/jvm/java-8-oracle
SPARK_WORKER_MEMORY=4g
Schritt 6 nach Konfigurieren Funken
cd /usr/lib/spark/conf/
cp spark-env.sh.template spark-env.sh
vi spark-env.sh
und hinzufügen.
öffnen Sie die bashrc unter Befehl
vi ~/.bashrc(if you want to use vi editor)
subl ~/.basrc(if you want to use sublime)
die unten in der bashrc Datei kopieren Befehl unter
export JAVA_HOME=/usr/lib/jvm/java-8-oracle
export SBT_HOME=/usr/share/sbt-launcher-packaging/bin/sbt-launch.jar
export SPARK_HOME=/usr/lib/spark
export PATH=$PATH:$JAVA_HOME/bin
export PATH=$PATH:$SBT_HOME/bin:$SPARK_HOME/bin:$SPARK_HOME/sbin
die Bash-Datei starten
source ~/.bashrc
Schritt 7: versuchen Sie es jetzt
pyspark
Hinweis: in Fall erhalten Sie mit sbt Installation (Normalfall für Ubuntu 16.04) stecken versuchen untenstehenden Link
https://askubuntu.com/questions/771839/problem-installing-package-git-all/771889#771889
Diese Frage ist zu weit gefasst. Bitte listen Sie stattdessen die Methoden, die Sie versucht haben, und die aufgetretenen Fehler auf. – timchap
Lassen Sie mich es so sagen, würde es Ihnen etwas ausmachen, einen Link im Stack-Überlauf zu teilen, wo wir Schritte haben, Apache Funke für ubuntu 16 lokal für pyspark zu installieren. – braj259
Sie könnten fragen auf https://askubuntu.com/ – Mel