spark mapwithstate Zugriff auf alle Schlüssel, die über mehrere Mikrobatches hinweg erstellt wurden

Question

Zugriff auf den Status aller Schlüssel, die von mehreren Mikrobatches erstellt wurden.

Ich bin erfolgreich den Status der Schlüssel durch Mikro-Batch aktualisieren und schließlich am Ende mit vielen Schlüsseln. Wie man alle Schlüssel und ihren Zustand bekommt, damit ich irgendeine rdd Funktion auf ihnen anwenden kann, alle Methoden, die ich sehe, ist auf Mikrochargenebene und nicht auf der Gesamtheit, die über Zeit aufgebaut wird.

Answer 1

Versuchen

val state = sessionizedTuples.stateSnapshots() 

stateSnapshots: ein Paar DSTREAM zurück, wo jeder RDD die Momentaufnahme des Zustands aller Schlüssel ist.