Ich habe ein Problem in pyspark. Ich habe gerade diese Zeilen auf Funken mit pyspark ausgeführt, wie unten angegeben, es gibt mir folgende Fehler,Code mit dem Spark auf pyspark
>>> text_file=sc.textFile("/Users/Aroon/spark/Scala/word")
Traceback (most recent call last): File "", line 1, in NameError: name 'sc' is not defined.
Die Fehlermeldung ganz klar besagt, dass die sparkContext nicht auf dem sc Variable erstellt wird. Dies wäre automatisch erstellt worden, wenn du dich in der pyspark-Shell befindest. Da dies nicht der Fall ist, gehe ich davon aus, dass Sie es durch die Funke-Submission laufen lassen. Fügen Sie in diesem Fall den folgenden Kesselblechcode hinzu, um das Skript auszuführen.
from pyspark import SparkContext
sc = SparkContext(appName="Scalaword")
Weitere Informationen zu dem, was Sie haben, würden Ihnen besser helfen.
Der Fehler sagt, dass "sc" nicht definiert ist, was ziemlich selbsterklärend ist. Vielleicht könnten Sie uns mehr von Ihrem Code zeigen, damit wir Ihnen helfen können. –