Lesen Sie alle Dateien in einem verschachtelten Ordner in Spark

Question

Wenn wir einen Ordner folder mit allen .txt Dateien haben, können wir sie alle lesen sc.textFile("folder/*.txt"). Aber was ist, wenn ich einen Ordner folder habe, der noch mehr Ordner mit dem Namen datewise enthält, wie 03, 04, ..., die außerdem einige .log Dateien enthalten. Wie lese ich diese in Spark?

In meinem Fall ist die Struktur noch verschachtelter & Komplex, so dass eine allgemeine Antwort bevorzugt wird.

Answer 1

Wenn Verzeichnisstruktur regelmäßig ist, läßt so etwas wie dies sagt:

folder 
├── a 
│   ├── a 
│   │   └── aa.txt 
│   └── b 
│    └── ab.txt 
└── b 
    ├── a 
    │   └── ba.txt 
    └── b 
     └── bb.txt 

Sie * Platzhalter für jede Ebene der Verschachtelung verwenden können, wie unten dargestellt:

>>> sc.wholeTextFiles("/folder/*/*/*.txt").map(lambda x: x[0]).collect() 

[u'file:/folder/a/a/aa.txt', 
u'file:/folder/a/b/ab.txt', 
u'file:/folder/b/a/ba.txt', 
u'file:/folder/b/b/bb.txt']