Ich interessiere mich für das Testen von Spark läuft auf Mesos. Ich habe einen Hadoop 2.6.0 Single-Node-Cluster in meiner Virtualbox erstellt und Spark darauf installiert. Ich kann Dateien in HDFS mit Spark erfolgreich verarbeiten.Apache Spark und Mesos läuft auf einem einzigen Knoten
Dann habe ich Mesos Master und Slave auf dem gleichen Knoten installiert. Ich habe versucht, Spark als ein Framework in Mesos mit these instructions auszuführen. Ich erhalte den folgenden Fehler mit Spark:
WARN TaskSchedulerImpl: Der erste Job hat keine Ressourcen akzeptiert;
überprüfen Sie Ihre Cluster-UI, um sicherzustellen, dass die Arbeitnehmer und haben registriert sind ausreichende Ressourcen
Sparkshell erfolgreich als Rahmen in den Mesos registriert. Ist etwas falsch mit der Verwendung eines Setups mit einem einzelnen Knoten? Oder ob ich weitere Spark Worker-Knoten hinzufügen muss?
Ich bin sehr neu in Spark und mein Ziel ist nur Spark, HDFS und Mesos zu testen.
Warum Sie das tun wollen Mesos in erster Linie verwenden, für die Funken, wenn hadoop bereits mit Garn kommt. –
Ich habe bereits einen OpenStack-Cluster mit Mesos und anderen Rahmen funktioniert .. Ich brauche ein freigegebenes hdfs-Dateisystem in dieser Umgebung mit Rahmen arbeiten, um die Dateien in den hdfs zu verarbeiten .. Jetzt gerade iam Test Funken auf Mesos .. –
wie viele CPUs und Speicher haben Sie der VirtualBox-Instanz gegeben? – hbogert