fehlgeschlagen Apache Funken ohne Hadoop

Question

ich installed das Paket spark-2.0.2-bin-without-hadoop.tgz auf einer lokalen DEV-Box aber nicht zu run es unten,

$ ./bin/spark-shell 
NoClassDefFoundError: org/apache/hadoop/fs/FSDataInputStream 

$ ./sbin/start-master.sh 
NoClassDefFoundError: org/slf4j/Logger 

Habe ich falsch interpretieren, dass Funke könnte Spin without Hadoop unten laufen?

„Muss ich Hadoop brauchen Funken zu laufen? Nein, aber wenn Sie auf einem Cluster ausführen, werden Sie irgendeine Form von gemeinsam genutzten Dateisystem benötigen (zum Beispiel NFS auf dem gleichen Weg auf jedem Knoten montiert). Wenn Sie haben diese Art von Dateisystem, Sie können Spark einfach im Standalone-Modus bereitstellen. "

Answer 1

Für die erste Ausgabe FSDataInputStream betreffend, als https://stackoverflow.com/a/31331528,

in dieser Stack-Überlauf Reaktion bemerkte

die „ohne Hadoop“ ist ein wenig irreführend, dass dieser Build von Funken nicht auf einen bestimmten Build von gebunden ist Hadoop im Gegensatz dazu nicht ohne zu laufen. Um Spark mit der Version "ohne Hadoop" auszuführen, sollten Sie es an Ihre eigene Hadoop-Distribution binden.

Für die zweite Ausgabe über SLF4J fehlt, wie https://stackoverflow.com/a/39277696 in dieser Stack-Überlauf Reaktion bemerkt - Sie SLF4J Glas einschließen können oder wenn Sie bereits eine Hadoop-Distribution installiert haben, dann sollten Sie dies bereits in Betrieb haben.

Wenn Sie das sagen, können Sie Apache Spark herunterladen, die mit Hadoop vorinstalliert ist und Hadoop nicht selbst verwendet. Es enthält alle notwendigen Gläser und Sie können Spark angeben, um aus dem Dateisystem zu lesen, z. Verwenden Sie die file://// beim Zugriff auf Ihre Daten (anstelle von HDFS).