So ändern Sie den Persistlevel im Spark Machine Learning-Beispiel.

Question

Ich mache einen Benchmark, um Experimente einiger berühmter Zeitungen zu wiederholen.

Dazu verwende ich Beispiele gebündelt mit Funkenquelle und einen Befehl wie unten, um logistische Regression auszuführen.

./bin/spark-submit --driver-Speicher 6g --conf "spark.memory.fraction = 0,6" examples/src/main/Python/mllib/logistic_regression.py svm.txt 100

Allerdings möchte ich die Speicherebene der Zwischendaten (wie persistent MEMORY_ONLY oder DISK_ONLY) ändern, konnte aber nicht Weg finden. Ich habe logistic_regression.py, classification.py und common.py überprüft, aber diese Dateien enthalten keinen Code für persistente oder Zwischenspeicher für Zwischendaten.

Können Sie mir sagen, wo ist die Datei zu beheben? Vielen Dank im Voraus.

Answer 1

Natürlich tut es das. Wenn Sie in den Code schauen. Sie können die rdd persistent:

if __name__ == "__main__": 
    if len(sys.argv) != 3: 
     print("Usage: logistic_regression <file> <iterations>", file=sys.stderr) 
     exit(-1) 
    sc = SparkContext(appName="PythonLR") 
    points = sc.textFile(sys.argv[1]).map(parsePoint) 
    # persist rdd 
    points.persist(pyspark.StorageLevel.MEMORY_ONLY)