Mehrere Dateien in Dataframe laden

Question

Ist es möglich, mehrere Dateien als einen Datenrahmen zu laden? Normalerweise, wenn ich eine Datei zu laden, werde ich zum Beispiel nennen:

file1 = "https://stackoverflow.com/a/b/c/folder/file1.csv" 
dc = sqlContext.read.format('com.databricks.spark.csv').options(header='false', inferschema='true').load(file1) 

Aber ich mag alle Dateien im Ordner /a/b/c/folder/*.csv laden.

Answer 1

Ich denke sqlContext.read.format('com.databricks.spark.csv').options(header='false', inferschema='true').load(folder) funktioniert. Zuvor habe ich Fehler bekommen, weil ich fertige komprimierte Dateien habe, und sie sind übergroß im Vergleich zum Speicher