Fehlgeschlagene Implementierung auf Spring Cloud Dataflow mit Apache YARN

Ich habe ein Apache YARN mit einem Knoten und Kafka-Zookeeper und Spring Cloud Dataflow 1.0.3 installiert.Fehlgeschlagene Implementierung auf Spring Cloud Dataflow mit Apache YARN

Alles funktioniert gut, aber wenn ich einige Einsatzbeispiele gemacht, wie:

Strom erzeugen --name "ticktock" --definition "time | hdfs --rollover = 100" --deploy

http --port = 8000 | log --name = logtest --level = INFO

Der Status des Streams bleibt nie auf "deployed". Es ändert sich ständig in "undeployed" -> "parcial" -> "deployed" in einer konstanten Schleife.

Die YARN-Anwendung wird jedoch erfolgreich bereitgestellt, aber es ist wie bei der Kommunikation zwischen der Spring Cloud Dataflow-Serverinstanz und Apache Hadoop, die ständig fehlschlägt.

Was kann das mögliche Problem dafür sein?

Vielen Dank im Voraus!

Quelle

2016-10-26 Juan Echeverria

Wenn es zu einer Schleife von Implementierungsfehlern kommt, ist der übliche Fehler der Speicher für App-Master- und Garncontainer. Wie wird der SCDF-Server auf YARN bereitgestellt? Verwenden Sie das Ambari-Plugin? (_wenn nicht, warum? _). Bitte überprüfen Sie diese [Abschnitt] (http://docs.spring.io/spring-cloud-dataflow-server-yarn/docs/current-SNAPSHOT/reference/htmlsingle/#yarn-troubleshooting) auf Speicheranforderungen. Es gibt [globale Einstellungen] (http://docs.spring.io/spring-cloud-dataflow-server-yarn/docs/current-SNAPSHOT/reference/htmlsingle/#_global_yarn_memory_settings), die Sie ebenfalls überschreiben können. –

Vielen Dank an alle für eure Antworten! Ich war mit anderen Projekten mit hoher Priorität beschäftigt, aber ich konnte alles mit Ambari erstellen (einschließlich des von Sabby Adannan erwähnten Plugins). Jetzt funktioniert alles super!

Quelle

2016-11-09 13:43:34

Nun, es gibt hier nicht viele Informationen, aber Sie sollten überprüfen und sicherstellen, dass Sie das erforderliche Basisverzeichnis in HDFS erstellt haben und dass Ihr Yarn-Benutzer über Lese-/Schreibrechte verfügt.

spring.cloud.deployer.yarn.app.baseDir =/Datenfluß

Quelle

2016-10-27 10:57:23 franktylerva

Hallo! Danke für die Antwort. Wie kann ich das HDFS-Verzeichnis überprüfen? Das verwendet den Befehl, der von der SCDF-Konsole bereitgestellt wird: _hadoop fs ls_ Vielen Dank im Voraus !. –

Hallo nochmal. Ich habe das Verzeichnis erstellt mit: _hadoop fs -mkdir -p/dataflow_ Und hinzugefügt, um die SCDF-Konfiguration. Der Benutzer, der alle Dienste (einschließlich SCDF) ausführt, hat vollen Zugriff und Berechtigungen. Nachdem dieser Vorgang ausgeführt und eine einfache Bereitstellung getestet wurde, bleibt der Fehler bestehen. Was kann ich noch prüfen? Danke im Voraus. –

Können Sie Ihre servers.yml-Datei bereitstellen? – franktylerva

Fehlgeschlagene Implementierung auf Spring Cloud Dataflow mit Apache YARN

Antwort

Verwandte Themen