Funken Schale --master Garn stecken

Question

Ich installierte Hadoop und Funken über Homebrew

$ brew list --versions | grep spark 
apache-spark 2.2.0 
$ brew list --versions | grep hadoop 
hadoop 2.8.1 2.8.2 hdfs 

wo Hadoop 2.8.2 ist das, was ich benutze.

Ich folgte this post, um Hadoop zu konfigurieren. Auch gefolgt this post zu konfigurieren spark.yarn.archive als:

spark.yarn.archive     hdfs://localhost:9000/user/panc25/spark-jars.zip 

Die folgenden sind meine Hadoop/Spark-verwandte-Umgebung in meinem .bash_profile:

# --------------------- 
# Hadoop 
# --------------------- 
export HADOOP_HOME=/usr/local/Cellar/hadoop/2.8.2 
export YARN_CONF_DIR=$HADOOP_HOME/libexec/etc/hadoop/ 
alias hadoop-start="$HADOOP_HOME/sbin/start-dfs.sh;$HADOOP_HOME/sbin/start-yarn.sh" 
alias hadoop-stop="$HADOOP_HOME/sbin/stop-yarn.sh;$HADOOP_HOME/sbin/stop-dfs.sh" 
# --------------------- 
# Apache Spark 
# --------------------- 
export SPARK_HOME=/usr/local/Cellar/apache-spark/2.2.0/libexec 
export PATH=$SPARK_HOME/../bin:$SPARK_HOME/sbin:$PATH 

Ich kann erfolgreich gestartet hadoop (hdfa + Garn):

$ hadoop-start 
17/11/12 17:08:39 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable 
Starting namenodes on [localhost] 
localhost: starting namenode, logging to /usr/local/Cellar/hadoop/2.8.2/libexec/logs/hadoop-panc25-namenode-mbp13mid2017.local.out 
localhost: starting datanode, logging to /usr/local/Cellar/hadoop/2.8.2/libexec/logs/hadoop-panc25-datanode-mbp13mid2017.local.out 
Starting secondary namenodes [0.0.0.0] 
0.0.0.0: starting secondarynamenode, logging to /usr/local/Cellar/hadoop/2.8.2/libexec/logs/hadoop-panc25-secondarynamenode-mbp13mid2017.local.out 
17/11/12 17:08:55 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable 
starting yarn daemons 
starting resourcemanager, logging to /usr/local/Cellar/hadoop/2.8.2/libexec/logs/yarn-panc25-resourcemanager-mbp13mid2017.local.out 
localhost: starting nodemanager, logging to /usr/local/Cellar/hadoop/2.8.2/libexec/logs/yarn-panc25-nodemanager-mbp13mid2017.local.out 
$ jps 
92723 NameNode 
93188 Jps 
93051 ResourceManager 
93149 NodeManager 
92814 DataNode 
92926 SecondaryNameNode 

Allerdings, wenn ich spark-shell --master yarn starte es scheint zu frieren und ich weiß nicht, was los ist:

Was ist los?

BTW, ich könnte die SparkUI http://localhost:4040/ besuchen, aber alle Seiten sind leer.

Answer 1

Ich hatte ein ähnliches Problem, das durch die Tatsache verursacht wurde, dass ich vergessen habe,/conf an die Variable HADOOP_CONF_DIR env (/ etc/hadoop/conf) anzuhängen.