Ist Funken Streaming sowohl mit „cp“ arbeitet und „mv“

Question

ich Funke bin mit Streaming

Mein Programm kontinuierlich Strömen aus einem hadoop Ordner lesen .Das Problem ist, wenn ich zu meinem hadoop Ordner (hadoop fs kopieren -copyFromLocal) Der Funke-Job startet, aber wenn ich mich bewege (hadoop fs -mv/hadoopsourcePath/*/destinationPath /), funktioniert es nicht.

Ist es eine Begrenzung der Funkenströmung?

Ich habe noch eine Frage funken in Beziehung stehendes Streaming: Can spark streaming pick specific files

Answer 1

Verstanden ..es in Funken arbeitet 1.5 Aber es nimmt nur die Dateien, deren Zeitstempel gleich aktuelle Zeitstempel.

Für Beispiel

Temp-Ordner: Datei f.txt (Zeitstempel t1: wenn die Datei erstellt wurde)

Spark-Eingangsordner:/Eingang

, wenn Sie einen mv (hadoop fs tun - mv /temp/f.txt/input): Spark wird nicht ausgewählt

Aber nach dem Verschieben, wenn Sie den Zeitstempel der verschobenen Datei ändern, wird Funke auswählen.

https://github.com/apache/spark/blob/master/streaming/src/main/scala/org/apache/spark/streaming/dstream/FileInputDStream.scala

Haben den Quellcode des Funken zu überprüfen.