Wie macht man Hai/Funken den Cache löschen?

Question

Wenn ich meine Shark-Abfragen ausführen, wird der Speicher im Arbeitsspeicher gehortet Dies ist mein Top-Befehl Ergebnis.

---

Mem: 74237344k Insgesamt 70080492k verwendet, 4156852k frei, 399544k puffert Swap: 4194288k insgesamt 480k verwendet, 4193808k frei, 65965904k

---

gecached dies nicht ändert, selbst wenn ich töten/Stop Hai, Funken, Hadoop-Prozesse. Die einzige Möglichkeit, den Cache zu leeren, besteht derzeit darin, den Computer neu zu starten.

hat jemand dieses Problem schon einmal gesehen? ist es ein Konfigurationsproblem oder ein bekanntes Problem in Funke/Hai?

Answer 1

Verwenden Sie die cache()-Methode, um RDDs zu erhalten?

cache() ruft nur persist(), also, um den Cache für eine RDD zu entfernen, rufen Sie unpersist().

Answer 2

Um alle Daten im Cache entfernen Sie tun können:

sqlContext.clearCache()

Quelle: https://spark.apache.org/docs/2.0.1/api/java/org/apache/spark/sql/SQLContext.html