Ich habe versucht, mehrere .gz Dateien von Hadoop-Dateisystem über Spark-Streaming zu lesen. Gibt es eine Möglichkeit, das zu tun? Wenn ja, können Sie mir eine LösungWie verarbeitet man mehrere .gz-Dateien über Spark-Streaming?
Spark Streaming-Prozess-Datei auf der Grundlage der Zeitstempel, d. h. nur die Dateien wurden verarbeitet, die zu bestimmten Pfad nach dem Start der Spark-Streaming hinzugefügt werden. Spark-Streaming verarbeitet keine Dateien, die vor dem Start des Streamingkontexts platziert werden.
In einfachen Worten Streaming funktioniert auf Live-Daten nicht auf den alten.