Image-Datenrahmen von HDFS für Bildklassifizierung

Question

Ich versuche, einen Bildklassifikationsalgorithmus mit Python und Spark zu schreiben.
Ich folge this Tutorial, das aus den offiziellen Databricks entnommen wird und funktioniert perfekt, wenn lokal ausgeführt wird.

Mein Problem, Verschieben des Algorithmus auf einem Cluster, ist, dass ich meine Bilder aus zwei Ordnern auf dem HDFS im Format .jpg laden muss, und ich kann keine Möglichkeit finden, einen Datenrahmen wie lokal zu erstellen in den Beispielen.

Ich bin auf der Suche nach einem Ersatz für diesen Code:

from sparkdl import readImages 
jobs_df = readImages(img_dir + "/jobs").withColumn("label", lit(1)) 

Answer 1

Es sollte gleiche wie das Lesen der Dateien aus lokalen ziemlich viel sein.

Unten ist die Implementierung aus der Bibliothek. Es verwendet internal binaryFiles API, um Binärdateien zu laden. Die API-Dokumentation (binaryFiles) sagt, dass sie auch das Hadoop-Dateisystem unterstützt.

rdd = sc.binaryFiles(path, minPartitions=numPartitions).repartition(numPartitions) 

Hoffe das hilft.