spark-submit: 'rekursiv' einschalten (Spark-Version 2.0.2)

Question

Ich versuche, ein Verzeichnis als Argument für --files in spark-submit anzugeben. Der Auftrag schlägt mit der Nachricht:

org.apache.spark.SparkException: Added file file:[directory path] is a directory and recursive is not turned on. 

Es gibt nichts in spark-submit --help über rekursive Angabe und googeln um hat es auch nicht zeigen. Wer weiß davon?

Answer 1

Dies bezieht sich auf SPARK-16408. Der Fehler wird auf this line ausgelöst, da Spark-Submit-Aufrufe addFile mit rekursiv standardmäßig auf false festgelegt sind.

Als Abhilfe können Sie jede Datei einzeln angeben sollen oder addFile auf Ihrem SparkContext Objekt zur Laufzeit mit rekursiven Satz auf true

sc.addFile(path = ..., recursive = true) 

nennen