Laden einer Datei in Spark im Standalone-Cluster

Question

Ich habe einen Vier-Knoten-Funke-Cluster. Ein Knoten ist sowohl Master als auch Slave, andere drei Slave-Knoten. Ich habe eine Beispielanwendung geschrieben, die Datei lädt und einen Datenrahmen erstellt und einige Spark-SQL ausführt. Wenn ich die Anwendung vorlege wie unten vom Master-Knoten, es produziert Ausgabe: -

./spark-submit /root/sample.py 

Aber wenn ich wie unten mit Master vorlege, heißt es „Datei nicht Fehler nicht existiert

./spark-submit --master spark://<IP>:PORTNO /root/sample.py 

.

ich bin ein RDD von Beispiel-Textdatei zu erstellen: -.

lines = sc.textFile("/root/testsql.txt"); 

muss ich die Datei auf allen Knoten kopieren müssen ?? Wie es für die Produktionssysteme funktionieren wird, wenn zB haben einige CDRS zu verarbeiten, woher sollte ich diese CDRS erhalten.

Answer 1

Sie haben Recht, es ist nicht in der Lage, diese Datei zu lesen, weil sie nicht auf Ihrem Server existiert.

Sie müssen sicherstellen, dass die Datei über dieselbe URL/Pfad auf alle Knoten von Spark zugegriffen werden kann.

Das ist, wo verteiltes Dateisystem wie hdfs etwas einfacher macht, aber Sie können es auch ohne sie tun.

Wenn Sie dem Master einen Spark-Job übergeben, weist Master die erforderlichen Executoren und Worker zu. Jeder von ihnen wird versuchen, die Aufgabe zu parallelisieren, was sc.textFile ihm sagt. So muss der Dateipfad von allen Knoten aus zugänglich sein.

Sie können die Datei entweder auf allen Knoten am selben Speicherort bereitstellen oder stattdessen einen URL-basierten Speicherort zum Lesen der Datei verwenden. Grundlegend ist, dass die Datei von allen Knoten verfügbar und lesbar sein muss.