Kann nicht gestreamte Daten zu versenken Datei mithilfe von Spring Wolke Datenfluss schreiben

Question

Ich versuche, Datenfluss-Pipeline mit Feder Wolke Datenfluss mithilfe der Shell (Not UI) zu erstellen. Quelle wird twitterstream und sinkt als Datei. Hier ist, was ich tat Datei-Senke zu konfigurieren:

dataflow:>stream create demo --definition "twitterstream --credentials | file --dir=/opt/datastream --mode=APPEND --filename=tweets.txt"

ich Daten von kafka Thema verbrauchen kann, aber nicht in der Lage über das Waschbecken Lage an zu schreiben, wird Datei nicht einmal erstellt. KEIN Fehlerprotokoll beim Bereitstellen des Streams. Schließlich werde ich es vom lokalen Dateisystem in HDFS ändern. Fehlt etwas?

PS: Ich habe versucht Standard-Datei-Senke (ohne Definition), die Standarddatei in/tmp/xd/output erstellen soll, ist auch nicht passiert.

Answer 1

Auf der neuesten Version 1.0.0.RELEASE (GA), die folgende Stream-Definition funktioniert.

dataflow:>stream create demo --definition "twitterstream | file --directory=/someFolder --mode=APPEND --name=demo.txt"

Ein paar Dinge hinweisen:

1) Die twitterstream Quelle nicht --credentials als OOTB Eigenschaft nicht unterstützt. Siehe here.

2) Die file-Senke unterstützt --filename nicht als OOTB-Eigenschaft; Sie müssten stattdessen --name verwenden. Siehe here.