Wie ein Datenframe in Funke freizugeben?

Question

Ich benutze Funken Berechnung. alle 5 Minuten bekam ich einen neuen Datenrahmen. Ich habe es in einem dict wie dieser Rahmen

dict_1_hour[timestamp] = dataframe 

Neue Daten genannt dict_1_hour kommt in die dict und alten Datenrahmen aus dem dict herausspringen. Es sind nur 12 Datenfelder gespeichert, das sind die Daten der letzten 1 Stunde.

Also meine Frage ist, wie sollte ich diese Datenrahmen freigeben, um sicherzustellen, dass kein Speicherleck ist?

Eine API für Datenrahmen scheint es tun kann. (Ich weiß nicht, was die Parameter für)

unpersist(blocking=True) 
Marks the DataFrame as non-persistent, and remove all blocks for it from memory and disk. 

Die andere Art, wie ich glaube, nur den Datenrahmen aus dem dict Pop ist.

Python sollte die nicht verwendete Variable automatisch freigeben. Aber ich weiß nicht, ob es hier angebracht ist. Ich machte mir Sorgen, dass Funke die Datenrahmen halten, wenn Sie es nicht explizit

Also bitte Beratung freisetzen, auf dem Weg, ich bitte

Answer 1

Vor allem DataFrame, ähnlich wie RDD verwenden sollten, ist nur eine lokale rekursive Datenstruktur. Ich durchlaufe den gleichen Speicherbereinigungszyklus wie jedes andere Objekt, sowohl auf der Python- als auch auf der JVM-Seite.

Der zweite Teil, den Sie beachten müssen, ist persistente Daten (cache, persist, cacheTable, Shuffle-Dateien, etc.). Dies wird im Allgemeinen intern von Spark gehandhabt und außer unpersist haben Sie nicht viel Kontrolle über seine Lebensdauer.

Behalten diese beiden Dinge im Hinterkopf, gibt es nicht viel, was über einfache del auf dem Objekt hinaus getan werden kann.

try: 
    del dict_1_hour[timestamp] 
except KeyError: 
    pass 

Dennoch, wenn DataFrame wurde als temporäre Tabelle registriert wurde, stellen Sie sicher, dass es deregistrieren zuerst:

from py4j.protocol import Py4JError 

try: 
    sqlContext.dropTempTable("df") 
except Py4JError: 
    pass