Spark-Streaming - Schiebefenster und die Verwendung von verschiedenen

Question

Wir Fenster verwenden können, um eine transformierte DStream mit größeren Chargen zu erstellen:

streamIDs.window(Duration(1000)).foreachRDD(rdd => println(rdd.distinct().count())) 

Gibt es eine Möglichkeit, das gleiche in einem sich bewegenden Fenster mit Diadauer auch als zu machen Parameter?

Answer 1

Versuchen Sie, Duplikate im Fenster herauszufiltern? In diesem Fall, dass Sie eine bestimmte über ein Fenster von Abbildung Ihrer RDD zu einem Schlüssel-Wert-Paar, wo der Schlüssel ist eine Kopie des ursprünglichen Elements und der Wert ist nicht wichtig, sagen null emulieren können:

streamIDs 
    .mapToPair(lambda s : (s, null)) 
    .reduceByKeyAndWindow(lambda t1, t2 : t1, Duration(1000)) 
    .map(lambda (x, y) : x) 

Dieser Wille Erstellen Sie einen DStream mit unterschiedlichen Werten aus jedem gleitenden Fenster.

Falls Sie wollen auch die Anzahl der einzelnen Werte in jedem Fenster, gehen Sie wie folgt vor:

streamIDs 
    .mapToPair(lambda s : (s, 1)) 
    .reduceByKeyAndWindow(lambda t1, t2 : t1 + t2, Duration(1000)) 

Dies wird ein DSTREAM Wertzahl Paare schaffen, zum Beispiel ('A', 3), ('B', 5)...