Basierend auf Informationen von Spark-Konfigurationsseite, fand ich, dass nach Netty von Funken 1.5 Off-Heap-Puffer verwendet werden, um GC während Shuffle und Cache-Block-Transfer zu reduzieren. Also, meine Frage ist, dass im heutigen Funke, was passiert im Heap-Raum während der Shuffle-Phase?was passiert auf Heap-Raum während Funken Shuffle-Stufe
Im Allgemeinen speichert Spark Zwischendaten auf der Festplatte im Fall von Shuffling-Operation für "Under-hood" -Optimierung. Diese Zwischendaten werden innerhalb einer gleichen Abstammung (DAG) im Falle der Neuberechnung eines Teils der DAG.Dies kann passieren, auch wenn die RDD nicht zwischengespeichert oder explizit beibehalten wird.
spark.shuffle.file.buffer
Größe des Puffers im Speicher für jeden Ausgabestrom Shuffle-Datei. Diese Puffer reduzieren die Anzahl der Datenträgersuchvorgänge und Systemaufrufe, die in erstellt wurden, um Zwischenmischdateien zu erstellen.
Bevor 2.x.x Version
Könnten Sie mehr Details über die Zwischendaten geben zu schlurfen. Und noch eine Sache, kann ich bedenken, dass im aktuellen Funken (2.1.0), was in Heap nur die Zwischendaten im Berechnungsjob sein werden? –
Spark 2.x.x ist etwas anders, wenn es darum geht, wo RDD/Dataset gespeichert sind. Zwischendaten werden auf der Festplatte gespeichert, unabhängig von der Version, die ich vermute.Plus Sie müssen über die Spark Memory Struktur verstehen. Ich habe gerade meine Antwort aktualisiert. – BDR
Vielen Dank für die freundliche Antwort. Eine Sache, auf die ich hinweisen möchte, ist, dass dieses Bild etwas veraltet ist. Nach dem Funken 1.6 ist der Parameter spark.shuffle.memoryFraction nur im Legacy-Modus nützlich. Sie stellen nur eine neue Speicherstruktur vor, denke ich. –