Eine Möglichkeit ist, dass Sie hadoop fs -lsr your_path verwenden können, um alle Pfade zu erhalten, und dann überprüfen, ob die Pfade, die Sie interessiert sind, in diesem Satz sind.
In Bezug auf Ihren Absturz ist es möglich, dass es ein Ergebnis aller Aufrufe an os.system war, anstatt für den Hadoop-Befehl spezifisch zu sein. Manchmal kann das Aufrufen eines externen Prozesses zu Problemen führen, die sich auf Puffer beziehen, die niemals freigegeben werden, insbesondere auf E/A-Puffer (stdin/stdout).
Eine Lösung wäre, einen einzigen Aufruf an ein Bash-Skript zu machen, das alle Pfade durchläuft. Sie können das Skript mithilfe einer Zeichenfolgenvorlage in Ihrem Code erstellen, das Array der Pfade im Skript ausfüllen, es schreiben und dann ausführen.
Es kann auch eine gute Idee sein, zum subprocess Modul von Python zu wechseln, das Ihnen granularere Kontrolle über das Behandeln von Unterprozessen gibt. Hier ist das Äquivalent von os.system:
process = subprocess.check_output(
args=your_script,
stdout=PIPE,
shell=True
)
Beachten Sie, dass stdout zu so etwas wie ein Datei-Handle wechseln, wenn, dass Sie mit Debugging hilft oder was das Verfahren robuster. Sie können auch das Argument shell=True zu False wechseln, es sei denn, Sie werden ein tatsächliches Skript aufrufen oder Shell-spezifische Dinge wie Pipes oder Umleitung verwenden.