0
Ich mache folgende Cloudera Tutorial und tun "4. Übermitteln Sie die Anwendung mit Spark-Submit". Was mache ich falsch, damit das laufende Tutorial fehlschlägt? Ich finde Spark-Shell und Spark-Submit, aber nicht Spark-Slass aus/bin-Ordner.Spark Submit schlägt fehl -/opt/cloudera/parcels/CDH/bin/spark-class: Keine solche Datei oder Verzeichnis
https://www.cloudera.com/documentation/enterprise/5-5-x/topics/spark_streaming.html#streaming
export SPARK_HOME="/opt/cloudera/parcels/CDH"
spark-submit --master local[2] --conf
"spark.dynamicAllocation.enabled=false" --jars
$SPARK_HOME/lib/spark/lib/spark-examples.jar kafka_wordcount_keke.py k
localhost:2181 POCTopicKeke1
[[email protected] lib]$ spark-submit --master local[2] --jars $SPARK_HOME/lib/spark/lib/spark-examples.jar kafka_wordcount_keke.py localhost:2181 POCTopicKeke1
/log/cloudera/parcels/CDH-5.12.1-1.cdh5.12.1.p0.3/bin/../lib/spark/bin/spark-submit: line 27: /opt/cloudera/parcels/CDH/bin/spark-class: No such file or directory
/log/cloudera/parcels/CDH-5.12.1-1.cdh5.12.1.p0.3/bin/../lib/spark/bin/spark-submit: line 27: exec: /opt/cloudera/parcels/CDH/bin/spark-class: cannot execute: No such file or directory
[[email protected] lib]$
Ihr Link ist für CDH 5.5 ... Sie verwenden 5.12 –
Sie können die neueste Dokumentation finden Sie unter https://www.cloudera.com/documentation/enterprise/latest/topics/spark_streaming.html#streaming –
Do Sie meinen, dass SPARK_HOME auf falschen Pfad zeigt? Macht es einen Unterschied, wenn die CHH-Version 5.12 ist? – Keke