2
Hy,PySpark - Das System kann den angegebenen Pfad nicht finden
Ich habe Spark mehrmals ausgeführt (Spyder IDE). Heute habe ich diesen Fehler (der Code ist es das gleiche)
from py4j.java_gateway import JavaGateway
gateway = JavaGateway()
os.environ['SPARK_HOME']="C:/Apache/spark-1.6.0"
os.environ['JAVA_HOME']="C:/Program Files/Java/jre1.8.0_71"
sys.path.append("C:/Apache/spark-1.6.0/python/")
os.environ['HADOOP_HOME']="C:/Apache/spark-1.6.0/winutils/"
from pyspark import SparkContext
from pyspark import SparkConf
conf = SparkConf()
The system cannot find the path specified.
Traceback (most recent call last):
File "<stdin>", line 1, in <module>
File "C:\Apache\spark-1.6.0\python\pyspark\conf.py", line 104, in __init__
SparkContext._ensure_initialized()
File "C:\Apache\spark-1.6.0\python\pyspark\context.py", line 245, in _ensure_initialized
SparkContext._gateway = gateway or launch_gateway()
File "C:\Apache\spark-1.6.0\python\pyspark\java_gateway.py", line 94, in launch_gateway
raise Exception("Java gateway process exited before sending the driver its port number")
Exception: Java gateway process exited before sending the driver its port number
Was ist falsch? danke für deine zeit.
Ich denke, Sie sollten die Antwort unter diesem Link http://stackoverflow.com/questions/30763951/spark-context-sc-not-defined/30851037#30851037 –
Ok ... Jemand eine neue Java-Version installieren in VirtualMachine. Ich ändere nur das os.environ ['JAVA_HOME'] = "C:/Programme/Java/jre1.8.0_91" und funktioniert wieder. – Kardu