Wie überprüft man, ob Spark RDD im Speicher ist?

Question

Ich habe eine Instanz von org.apache.spark.rdd.RDD [MyClass]. Wie kann ich programmgesteuert überprüfen, ob die Instanz persist \ inmemory ist?

Answer 1

Sie möchten RDD.getStorageLevel. Es wird StorageLevel.None zurückgeben, wenn es leer ist. Dies ist jedoch nur möglich, wenn es zum Zwischenspeichern markiert ist oder nicht. Wenn Sie den aktuellen Status möchten, können Sie den Entwickler api verwenden sc.getRDDStorageInfo oder sc.getPersistentRDD

Answer 2

Sie können rdd.getStorageLevel.useMemory rufen zu überprüfen, ob es im Speicher ist oder nicht, wie folgt:

scala> myrdd.getStorageLevel.useMemory 
res3: Boolean = false 

scala> myrdd.cache() 
res4: myrdd.type = MapPartitionsRDD[2] at filter at <console>:29 

scala> myrdd.getStorageLevel.useMemory 
res5: Boolean = true